# Feature Landscape: LLM Semantic Segmentation for Video Subtitles

**Domain:** LLM-based semantic segmentation for video subtitle processing
**Researched:** 2026-03-21
**Overall confidence:** MEDIUM

## Table Stakes

Features users expect in LLM-based subtitle segmentation. Missing = product feels incomplete or "dumb."

| Feature | Why Expected | Complexity | Notes |
|---------|--------------|------------|-------|
| **视频类型识别** | 不同类型视频需要不同分段策略 | Medium | 识别知识类、故事类、访谈类、新闻类、vlog等基本类型 |
| **主题边界检测** | 用户期望在话题转换处分段 | High | 基于语义相似度变化检测话题转换点 |
| **内容完整性保护** | 避免在句子或论点中间截断 | High | 确保分段不破坏语义完整性 |
| **自然句边界检测** | 中文字幕需要智能断句 | Medium | 中文没有明确句号，需要语义判断 |
| **主题标题生成** | 每个分段需要描述性标题 | Medium | 为分段生成简洁、准确的主题标题 |
| **基本分段策略** | 区别于简单的时间+长度规则 | Medium | 至少提供2-3种基于语义的分段策略 |

## Differentiators

Features that set product apart. Not expected, but valued.

| Feature | Value Proposition | Complexity | Notes |
|---------|-------------------|------------|-------|
| **分层主题结构** | 支持多级主题层次（章-节） | High | 类似书籍目录的层级结构，适用于长视频 |
| **时间戳对齐** | 分段边界与原字幕时间对齐 | Medium | 保持与原始视频的可导航性 |
| **分段质量评分** | 给出分段质量的可信度 | Medium | 帮助用户判断何时需要人工调整 |
| **说话人识别集成** | 结合说话人变化优化分段 | High | 访谈、对话类视频的重要信号 |
| **可配置分段粒度** | 用户可控制分段密度 | Low | 粗粒度（章节）vs 细粒度（话题） |
| **分段合并建议** | 检测过短分段并建议合并 | Medium | 避免碎片化分段 |
| **主题连贯性分析** | 评估分段的内部一致性 | High | 确保单个分段内语义相关 |
| **多模态融合** | 结合视频场景变化辅助分段 | Very High | 需要视频帧分析，超出纯文本范围 |

## Anti-Features

Features to explicitly NOT build.

| Anti-Feature | Why Avoid | What to Do Instead |
|--------------|-----------|-------------------|
| **固定大小分段** | 违背语义分段初衷，破坏内容完整性 | 使用语义边界检测 |
| **纯关键词匹配** | 过于简单，无法理解上下文和语义 | 使用嵌入向量和语义相似度 |
| **实时流式分段** | 需要全局上下文才能做出好的分段决策 | 批处理模式，分析完整内容 |
| **多语言混合处理** | 中英文混合分段逻辑复杂，降低质量 | 先分离语言，分别处理 |
| **完全自动化无人工审核** | LLM可能误判边界，需要人工验证 | 提供预览和手动调整界面 |
| **过度细分段** | 产生过多碎片化分段，降低可读性 | 设置最小分段长度和主题阈值 |

## Feature Dependencies

```
视频类型识别 → 分段策略选择 (类型识别决定使用哪种分段策略)
视频类型识别 → 主题边界检测阈值 (不同类型使用不同的边界敏感度)

自然句边界检测 → 内容完整性保护 (先确定句边界，再保护完整性)
主题边界检测 → 内容完整性保护 (边界不能破坏句完整性和论点完整性)

主题边界检测 → 主题标题生成 (先确定边界，再为每段生成标题)

分段策略选择 → 主题边界检测 (不同策略使用不同的边界检测算法)
```

## MVP Recommendation for v1.6

**Prioritize (MUST-have):**
1. **视频类型识别** - 基础功能，决定后续策略
2. **自然句边界检测** - 中文断句，保护内容完整性
3. **主题边界检测** - 核心功能，实现语义分段
4. **内容完整性保护** - 质量保证，避免破坏语义
5. **主题标题生成** - 用户体验，提供可导航性
6. **基本分段策略** - 至少2种策略（知识类、故事类）

**Defer to v2.0:**
- **分层主题结构** - 需要更复杂的算法和更多测试
- **说话人识别集成** - 需要额外的说话人分离模块
- **分段质量评分** - 优化功能，不影响核心价值
- **时间戳对齐** - 优化功能，v1.6可以简化处理

**Avoid:**
- 固定大小分段、纯关键词匹配、实时流式处理

## Technical Implementation Insights

### 视频类型识别方法

基于2025年研究，视频内容类型分类主要方法：

1. **基于文本特征** - 分析标题、描述、字幕文本
   - 知识类：教程、课程、讲解性内容
   - 故事类：叙事结构、时间线、情节发展
   - 访谈类：对话交替、问答模式
   - 新闻类：事件报道、时间地点、事实陈述
   - Vlog：个人经历、主观感受、日常记录

2. **LLM分类方法** - 使用few-shot prompting分类
   - 提供各类别的示例
   - 让LLM分析内容特征
   - 输出类别和置信度

### 主题边界检测策略

基于2025年研究前沿：

1. **语义相似度方法**
   - 使用嵌入向量计算段落间相似度
   - 相似度骤降点 = 潜在边界
   - 适用于：知识类、故事类

2. **词频变化检测**
   - 检测sharp word-frequency dips
   - 词汇分布变化 = 话题转换
   - 适用于：新闻类、访谈类

3. **LLM零样本边界检测**
   - 直接让LLM识别话题转换点
   - 提供上下文窗口
   - 输出边界位置和理由

4. **强化学习方法** (BoundRL, 2025)
   - 训练模型学习边界模式
   - 需要标注数据
   - 可能超出v1.6范围

### 中文句边界检测

2025年研究方向：

1. **边界增强解码器** (Boundary-Enhanced Decoder)
   - 专门针对中文分词和断句
   - 神经注意力机制

2. **多任务学习方法**
   - 联合学习分词和断句
   - 提高边界识别准确性

3. **实践方法** (适合v1.6)
   - 使用标点符号（句号、问号、感叹号）
   - 语义停顿检测（基于短语结构）
   - LLM辅助断句（对歧义情况）

### 内容完整性保护

基于2025年研究：

1. **语义连贯性评估**
   - 确保分段内语义一致
   - 避免在论点中间截断

2. **修辞结构理论** (RST)
   - 识别文本的修辞关系
   - 保持修辞结构的完整性

3. **实践策略** (v1.6可实现)
   - 不在句子中间分段
   - 识别并保护论证结构（前提-结论）
   - 检测并列结构（首先、其次、最后）

### 主题标题生成

2025年方法：

1. **LLM摘要式标题**
   - 让LLM生成分段的简短摘要
   - 限制长度（如10-15字）

2. **关键词提取**
   - 提取分段的关键词
   - 组合成描述性标题

3. **两阶段方法**
   - 第一阶段：检测边界
   - 第二阶段：为每段生成标题

## Complexity Breakdown

| Complexity Level | Features | Rationale |
|------------------|----------|-----------|
| **Low** | 可配置分段粒度 | UI/配置项，不涉及核心算法 |
| **Medium** | 视频类型识别、自然句边界检测、主题标题生成、时间戳对齐、分段合并建议 | 有成熟方法，可直接应用LLM |
| **High** | 主题边界检测、内容完整性保护、分层主题结构、分段质量评分、说话人识别集成 | 需要复杂算法或多阶段处理 |
| **Very High** | 多模态融合、主题连贯性分析 | 需要额外模块或大量计算资源 |

## Video Type-Specific Strategies

### 知识类视频
- **分段依据**: 主题/知识点变化
- **边界信号**: "接下来"、"其次"、"另外"等过渡词
- **标题风格**: 描述性，反映知识点
- **分段长度**: 中等（2-5分钟）

### 故事类视频
- **分段依据**: 情节发展、场景变化
- **边界信号**: 时间转换、地点变化、人物变化
- **标题风格**: 叙事性，反映情节发展
- **分段长度**: 较长（5-10分钟）

### 访谈类视频
- **分段依据**: 问题/话题转换
- **边界信号**: 主持人提问、话题切换
- **标题风格**: 问答式，反映讨论主题
- **分段长度**: 中等（3-6分钟）

### 新闻类视频
- **分段依据**: 新闻条目
- **边界信号**: "接下来是"、"据报道"
- **标题风格**: 信息性，反映新闻事件
- **分段长度**: 较短（1-3分钟）

### Vlog类视频
- **分段依据**: 活动/场景变化
- **边界信号**: 时间跳跃、地点变化、活动切换
- **标题风格**: 描述性，反映活动内容
- **分段长度**: 变化大（1-8分钟）

## Sources

**HIGH Confidence:**
- [LLM-Enhanced Semantic Text Segmentation - MDPI Applied Sciences 2025](https://www.mdpi.com/2076-3417/15/19/10849)
- [Beyond Transcripts: A Renewed Perspective on Audio Chaptering - arXiv 2025](https://arxiv.org/html/2602.08979v1)
- [Multimodal Fusion and Coherence Modeling for Video Topic Segmentation - ACL Findings 2025](https://aclanthology.org/2025.findings-acl.904.pdf)
- [LoRA Fine-Tuning for Table-of-Contents Generation - Interspeech 2025](https://www.isca-archive.org/interspeech_2025/freisinger25_interspeech.pdf)
- [Chapter-Llama: Efficient Chaptering in Hour-Long Videos with LLMs - CVPR 2025](https://cvpr.thecvf.com/virtual/2025/poster/33157)

**MEDIUM Confidence:**
- [SEGLLM: Topic-Oriented Call Segmentation Via LLM-Based - IEEE](https://ieeexplore.ieee.org/document/10446156/)
- [BoundRL: Efficient Structured Text Segmentation - arXiv 2025](https://arxiv.org/abs/2510.20151)
- [A boundary enhanced multi-task neural attention approach - Nature 2025](https://www.nature.com/articles/s41598-025-25317-5)
- [Parsing Through Boundaries in Chinese Word Segmentation - arXiv 2025](https://arxiv.org/html/2503.23091v1)
- [RAG 2.0: Advanced Chunking Strategies with Examples - Medium](https://medium.com/@visrow/rag-2-0-advanced-chunking-strategies-with-examples-d87d03adf6d1)
- [Best Chunking Strategies for RAG (and LLMs) in 2026 - Firecrawl](https://www.firecrawl.dev/blog/best-chunking-strategies-rag)

**LOW Confidence (WebSearch only):**
- Video content type classification methods (需要验证具体实现)
- 说话人识别集成方法 (需要额外调研具体技术方案)