Merge pull request 'feat(semantic): 添加广告植入内容识别功能' (#44) from fix/crawler-proxy-config into main

Reviewed-on: http://192.168.1.22:8418/starmen1265/kb-skills/pulls/44

kb_workflow/srt/semantic_engine.py

@@ -80,7 +80,6 @@ class UnifiedSegmentationStrategy:
 
     Attributes:
         ai_client: AI 客户端（实现 AIClientProtocol）
-        fallback_segmenter: 规则分段器（用于降级）
     """
 
     def __init__(
@@ -93,7 +92,7 @@ class UnifiedSegmentationStrategy:
 
         Args:
             ai_client: AI 客户端实例，如果为 None 则尝试创建 SimpleAIClient
-            fallback_segmenter: 降级时使用的规则分段器
+            fallback_segmenter: 已弃用，保留仅为向后兼容
             cache: 缓存管理器，如果为 None 则不使用缓存
         """
         self.ai_client = ai_client
@@ -112,18 +111,16 @@ class UnifiedSegmentationStrategy:
                 logger.warning(f"Failed to initialize AI client: {e}")
                 self.ai_client = None
 
-        # 初始化降级分段器
-        if self.fallback_segmenter is None:
-            from kb_workflow.srt.segmenter import SemanticSegmenter
-            self.fallback_segmenter = SemanticSegmenter()
-
     @staticmethod
     def _is_recoverable_error(error: Exception) -> bool:
         """判断错误是否可恢复
 
         可恢复错误：网络错误、超时、限流、服务器错误（500/502/503/504）、
                     JSON 解析错误（JSONDecodeError, 非 ValidationError 的 ValueError）
-        不可恢复错误：其他 HTTP 错误（4xx）、Pydantic 验证错误（ValidationError）
+        不可恢复错误：其他 HTTP 错误（4xx）
+
+        注意：Pydantic ValidationError（如标题超长）现在被视为可恢复错误，
+        因为这是LLM生成内容的问题，应该允许重试。
 
         Args:
             error: 异常对象
@@ -131,10 +128,8 @@ class UnifiedSegmentationStrategy:
         Returns:
             True 如果错误可恢复，False 否则
         """
-        # Pydantic 验证错误（不可恢复）
-        # 注意：ValidationError 继承自 ValueError，所以需要先检查
-        if isinstance(error, ValidationError):
-            return False
+        # 注意：ValidationError 现在被视为可恢复错误
+        # 因为这可能是LLM偶然生成的内容问题，重试可能解决
 
         # 网络层错误（可恢复）
         if isinstance(error, requests.exceptions.ConnectionError):
@@ -174,15 +169,11 @@ class UnifiedSegmentationStrategy:
         Returns:
             VideoSegment 对象列表（包含标题和内容）
         """
-        # AI 不可用，直接使用规则分段
+        # AI 不可用，直接报错
         if self.ai_client is None:
-            logger.info("AI client unavailable, using fallback segmenter")
-            # 将规则分段结果转换为 VideoSegment 格式（无标题）
-            paragraphs = self.fallback_segmenter.segment(segments)
-            return [
-                VideoSegment(title=None, content=para, start_index=0, end_index=0)
-                for para in paragraphs
-            ]
+            raise RuntimeError(
+                "AI客户端未配置，无法进行LLM语义分段。请检查AI_API_KEY环境变量。"
+            )
 
         # 合并字幕文本
         content = " ".join(seg.text for seg in segments)
@@ -249,7 +240,11 @@ class UnifiedSegmentationStrategy:
    - 基于语义停顿判断，不仅依赖标点符号
    - 保持内容的连贯性和可读性
 5. 保持论点完整性，不要在前提-结论结构中间截断
-6. 为主题/章节类型的分段生成简洁标题（5-15字），论点/观点类型分段不加标题
+6. 为主题/章节类型的分段生成简洁标题（最多30字），论点/观点类型分段不加标题
+7. **广告识别**：识别UP主的广告植入内容（包括但不限于"转转""京东""得物""淘宝""拼多多"等电商平台推广，以及其他明显的商业推广内容）
+   - 将广告内容单独分为一个段落
+   - 广告段落的 title 必须设为"广告"或"推广"
+   - 不要将广告内容混入正常内容段落中
 
 【输出格式】
 必须返回以下 JSON 格式（不要添加任何额外文本）：
@@ -271,7 +266,13 @@ class UnifiedSegmentationStrategy:
 【注意事项】
 - 优先保证语义完整性，不要为了凑数而强行截断
 - 标题应简洁准确，如「机器学习概述」「梯度下降原理」
-- 如果某个分段无法生成合适的标题（如过渡性内容），将 title 设为 null"""
+- 如果某个分段无法生成合适的标题（如过渡性内容），将 title 设为 null
+- **广告识别提示**：常见的广告植入特征包括：
+  * 突然话题转换到商品推荐
+  * 提及"回收""卖""优惠""下单"等电商相关词汇
+  * 提及具体品牌名称（如转转、京东、得物等）
+  * 说话风格明显变化（如口语化的推销语气）
+  * 内容与视频主题无关的商品推荐"""
         return prompt
 
     def _infer_video_type(self, metadata: dict) -> str:
@@ -329,7 +330,7 @@ class UnifiedSegmentationStrategy:
 
         Args:
             llm_output: LLM 原始输出
-            fallback_segments: 降级时使用的原始分段
+            fallback_segments: 已弃用参数，保留仅为向后兼容
 
         Returns:
             VideoSegment 对象列表
@@ -383,7 +384,6 @@ class UnifiedSegmentationStrategy:
                     max_tokens=8000,
                     disable_reasoning=True  # 分段不需要思考模式
                 )
-                last_llm_output = llm_output
 
                 # 解析和验证
                 video_segments = self._parse_result(
@@ -395,7 +395,6 @@ class UnifiedSegmentationStrategy:
                 return video_segments
 
             except Exception as e:
-                last_error = e
                 is_recoverable = self._is_recoverable_error(e)
                 is_last_attempt = (attempt == max_attempts - 1)
 
@@ -407,7 +406,7 @@ class UnifiedSegmentationStrategy:
                     )
                     continue
 
-                # 不可恢复错误或最后一次尝试：降级
+                # 最后一次尝试或不可恢复错误：直接抛出异常
                 error_type = type(e).__name__
 
                 # 为 HTTPError 提取更详细的信息
@@ -417,31 +416,14 @@ class UnifiedSegmentationStrategy:
                     error_msg = f"HTTP {status_code}"
                     if response_text and isinstance(response_text, str):
                         error_msg += f" ({response_text[:100]})"
-                    logger.warning(
-                        f"{error_type}: {error_msg}, 降级到规则分段"
-                    )
-                # 对于 JSON 解析错误（排除 ValidationError），记录 LLM 输出片段（前 500 字符）
-                elif isinstance(e, (json.JSONDecodeError, ValueError)) and not isinstance(e, ValidationError) and last_llm_output:
-                    error_msg = str(e) if str(e) else error_type
-                    logger.warning(
-                        f"{error_type}: {error_msg}\n"
-                        f"LLM 输出片段: {last_llm_output[:500]}...\n"
-                        f"降级到规则分段"
-                    )
+                    raise RuntimeError(
+                        f"{error_type}: {error_msg}, LLM语义分段失败"
+                    ) from e
                 else:
                     error_msg = str(e) if str(e) else error_type
-                    logger.warning(
-                        f"{error_type}: {error_msg}, 降级到规则分段"
-                    )
-                break
-
-        # 降级到规则分段
-        logger.info("使用规则分段（降级）")
-        paragraphs = self.fallback_segmenter.segment(fallback_segments)
-        return [
-            VideoSegment(title=None, content=para, start_index=0, end_index=0)
-            for para in paragraphs
-        ]
+                    raise RuntimeError(
+                        f"{error_type}: {error_msg}, LLM语义分段失败"
+                    ) from e
 
     def _segment_multiple_chunks(
         self,
@@ -482,10 +464,10 @@ class UnifiedSegmentationStrategy:
                 chunk_results.append((segments, offset))
                 logger.info(f"Chunk {i} segmented successfully: {len(segments)} segments")
             except Exception as e:
-                logger.warning(f"Chunk {i} failed: {e}, using fallback for this chunk")
-                # 该分块降级到规则分段
-                chunk_segments = self._fallback_chunk(chunk_text, offset)
-                chunk_results.append((chunk_segments, offset))
+                # 分块处理失败，直接抛出异常
+                raise RuntimeError(
+                    f"分块 {i}/{len(chunks)} LLM语义分段失败: {type(e).__name__}: {e}"
+                ) from e
 
         # 合并结果
         return self._merge_segment_results(chunk_results)
@@ -567,7 +549,9 @@ class UnifiedSegmentationStrategy:
         return all_segments
 
     def _fallback_chunk(self, chunk_text: str, offset: int) -> List[VideoSegment]:
-        """对单个分块使用规则分段（降级）
+        """对单个分块使用规则分段（已弃用）
+
+        此方法已弃用，不再被调用。如被调用将抛出异常。
 
         Args:
             chunk_text: 分块文本
@@ -575,20 +559,11 @@ class UnifiedSegmentationStrategy:
 
         Returns:
             VideoSegment 对象列表
+
+        Raises:
+            RuntimeError: 此方法已弃用
         """
-        # 创建虚拟的分段对象用于规则分段器
-        # 规则分段器需要 Segment 对象列表，我们创建一个包含整个文本的虚拟分段
-        from kb_workflow.srt.parser import Segment
-
-        virtual_segment = Segment(
-            id=1,
-            start_time=0.0,
-            end_time=1.0,
-            text=chunk_text
-        )
-
-        # 使用规则分段器
-        paragraphs = self.fallback_segmenter.segment([virtual_segment])
+        raise RuntimeError("_fallback_chunk 方法已弃用，LLM语义分段失败将直接抛出异常")
 
         # 转换为 VideoSegment，并设置正确的偏移量
         segments = []
@@ -664,7 +639,7 @@ class VideoSegment(BaseModel):
     """
     title: Optional[str] = Field(
         None,
-        description="分段标题，简洁描述型（5-15字）"
+        description="分段标题，简洁描述型（最多30字）"
     )
     content: str = Field(
         ...,
@@ -684,9 +659,9 @@ class VideoSegment(BaseModel):
     @field_validator('title')
     @classmethod
     def validate_title_length(cls, v: Optional[str]) -> Optional[str]:
-        """验证标题长度（5-15字）"""
-        if v is not None and len(v) > 15:
-            raise ValueError(f"标题长度不能超过15字，当前为{len(v)}字")
+        """验证标题长度（最多30字）"""
+        if v is not None and len(v) > 30:
+            raise ValueError(f"标题长度不能超过30字，当前为{len(v)}字")
         return v
 
     model_config = {