From f358c5257822f530652a20db38672fee9890b3d6 Mon Sep 17 00:00:00 2001
From: starmen1265 <starmen1265@163.com>
Date: Mon, 16 Mar 2026 18:19:42 +0800
Subject: [PATCH] =?UTF-8?q?fix(zhihu):=20=E4=BF=AE=E5=A4=8D=E6=96=87?=
 =?UTF-8?q?=E7=AB=A0=E5=BD=92=E6=A1=A3=E6=A0=BC=E5=BC=8F=E9=97=AE=E9=A2=98?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

1. author 字段清理零宽度空格和换行符，修复 Obsidian 解析
2. 扩展 content_type 条件，answer/zhuanlan 使用文章模板
3. 读取 content.md 时去除 YAML frontmatter
4. generate_frontmatter 正确推断 platform 为 zhihu

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
---
 .../debug/zhihu-article-archive-format.md     | 138 ++++++++++++++++++
 .../debug/zhihu-article-images-missing.md     |  81 ----------
 kb-deep-analyzer/deep_analyzer.py             |  80 ++++++++--
 kb_pipeline/processors/analyze.py             |  33 +++++
 4 files changed, 241 insertions(+), 91 deletions(-)
 create mode 100644 .planning/debug/zhihu-article-archive-format.md
 delete mode 100644 .planning/debug/zhihu-article-images-missing.md

diff --git a/.planning/debug/zhihu-article-archive-format.md b/.planning/debug/zhihu-article-archive-format.md
new file mode 100644
index 0000000..6a0d12c
--- /dev/null
+++ b/.planning/debug/zhihu-article-archive-format.md
@@ -0,0 +1,138 @@
+---
+status: awaiting_human_verify
+trigger: "知乎文章归档输出格式存在多个问题"
+created: "2026-03-16T17:45:00+08:00"
+updated: "2026-03-16T18:15:00+08:00"
+---
+
+## Current Focus
+
+hypothesis: 修复完成，等待用户验证
+test: 用户运行实际工作流验证
+expecting: 知乎文章归档格式正确
+next_action: 等待用户确认
+
+## Symptoms
+
+expected: |
+  1. 元数据 YAML 格式正确，Obsidian 可以正常解析
+  2. 文章归档模板应与视频不同：只要 300 字摘要 + 原文
+  3. 原文部分不应包含额外的元数据格式
+  4. 原文部分第一句应保持为正文，不应变成标题
+
+actual: |
+  1. bvid 这一项空了一行导致 Obsidian 读取元数据错误
+  2. 文章归档使用了视频模板，显示了视频时间
+  3. 原文部分多了一段元数据格式
+  4. 原文部分第一句正文变成了标题
+
+errors: 无显式错误，Obsidian 解析 YAML 元数据失败
+reproduction: 运行一键 CLI 命令处理知乎文章链接，查看生成的归档 Markdown 文件
+started: 刚发现，可能是模板或格式化逻辑问题
+
+## Eliminated
+
+## Evidence
+
+- timestamp: "2026-03-16T17:45:00+08:00"
+  checked: zhihu_2003232153480226496_content.md 文件
+  found: |
+    1. frontmatter 中 author 字段后有空行（第4行 author 后有一个空行）
+    2. content.md 使用的是 zhihu.py 中的 _format_with_frontmatter，不是 deep_analyzer
+    3. 该文件是原始抓取的内容，不是最终分析报告
+  implication: 问题可能在两个地方 - zhihu.py 的 _format_with_frontmatter 和 deep_analyzer.py 的 generate_frontmatter
+
+- timestamp: "2026-03-16T17:47:00+08:00"
+  checked: deep_analyzer.py 的 generate_frontmatter 函数（第436-470行）
+  found: |
+    1. 第455-459行：只有 content_type == "video" 时才添加 bvid
+    2. 这意味着对 answer/zhuanlan 类型不应该添加 bvid
+    3. 但代码中 bvid 只在 video 类型下插入
+  implication: generate_frontmatter 函数本身的逻辑是正确的，问题可能出在调用方或数据源
+
+- timestamp: "2026-03-16T17:48:00+08:00"
+  checked: zhihu.py 的 _format_with_frontmatter 函数（第237-265行）
+  found: |
+    该函数用于 fetch_content，生成简单的 frontmatter：
+    - title, author, source_url, platform, content_type, fetched_at
+    - 没有 bvid 字段
+  implication: zhihu.py 生成的 content.md 是正确的，问题可能出在最终的分析报告
+
+- timestamp: "2026-03-16T17:49:00+08:00"
+  checked: 用户报告的问题描述与实际 content.md 对比
+  found: |
+    实际 zhihu_2003232153480226496_content.md 文件中：
+    - author 字段后有换行符（author 的值包含换行）
+    - frontmatter 格式看起来正确，但 author 值 "啦啦啦啦​​" 后有不可见字符/换行
+  implication: 问题可能是 author 字段的值包含换行符，导致 YAML 解析失败
+
+- timestamp: "2026-03-16T17:51:00+08:00"
+  checked: metadata.json 中的 author 字段
+  found: author 值为 '啦啦啦啦\u200b\n\u200b'，包含零宽度空格（U+200B）和换行符
+  implication: zhihu_extractor 提取的 author 字段包含不可见字符，需要在生成 frontmatter 时清理
+
+- timestamp: "2026-03-16T17:53:00+08:00"
+  checked: deep_analyzer.py 的 _build_prompt 函数（第193-196行）
+  found: |
+    if content_type == "article":
+        return self._build_article_prompt(...)
+    else:
+        return self._build_video_prompt(...)
+    只检查 "article"，不检查 "answer" 或 "zhuanlan"
+  implication: 知乎 answer 类型走视频模板，导致生成了"时间轴"等视频专用内容
+
+- timestamp: "2026-03-16T17:54:00+08:00"
+  checked: analysis.md 最终分析报告
+  found: |
+    1. 第4-5行 author 后有空行（零宽度空格+换行）
+    2. 第6行 platform: bilibili（应该是 zhihu）
+    3. 第41-67行有"时间轴"部分（视频模板，文章不需要）
+    4. 第69-212行"原文"部分追加了完整的 content.md（包含 frontmatter）
+  implication: 多个问题需要修复
+
+- timestamp: "2026-03-16T17:55:00+08:00"
+  checked: analyze.py 的 _write_analysis_report 函数（第283-285行）
+  found: |
+    if content_type in ("article", "answer", "zhuanlan") and result.original_text:
+        full_analysis = full_analysis.rstrip() + "\n\n## 原文\n\n" + result.original_text
+    result.original_text 是从 content 的 text 字段提取的，应该只是正文
+  implication: 问题在 deep_analyzer.py 的 analyze 函数中，original_text 设置为完整的 text，但 text 来自 content.md 的全文
+
+## Resolution
+
+root_cause: |
+  问题1: author 字段包含零宽度空格(U+200B)和换行符
+    - 来源: zhihu_extractor 提取的 author 字段包含不可见字符
+    - 影响: YAML frontmatter 解析失败，Obsidian 无法读取元数据
+
+  问题2: _build_prompt 函数只检查 content_type == "article"
+    - 位置: deep_analyzer.py 第193-196行
+    - 影响: 知乎 answer/zhuanlan 类型走视频模板，生成"时间轴"等不需要的内容
+
+  问题3: 原文部分追加了完整的 content.md（包含 frontmatter）
+    - 位置: analyze.py 第103行读取整个 content.md 文件
+    - 影响: "原文"部分包含 YAML frontmatter，第一行变成标题
+
+  问题4: platform 字段默认为 bilibili
+    - 位置: deep_analyzer.py 第151行和第452行
+    - 影响: 知乎内容的 platform 显示为 bilibili
+
+fix: |
+  1. deep_analyzer.py:
+     - _build_prompt: 扩展条件为 content_type in ("article", "answer", "zhuanlan")
+     - analyze: 清理 author 字段的零宽度空格和换行符
+     - generate_frontmatter: 清理 author 字段
+     - 根据 URL 或 content_type 推断 platform
+
+  2. analyze.py:
+     - 读取 content.md 时，去除 frontmatter 部分，只保留正文
+
+verification: |
+  - 单元测试: 15/15 通过
+  - _clean_string 函数测试: 成功清理零宽度空格和换行符
+  - generate_frontmatter 测试: 正确推断 platform 为 zhihu
+  - _strip_frontmatter 测试: 成功去除 YAML frontmatter
+
+files_changed:
+  - kb-deep-analyzer/deep_analyzer.py
+  - kb_pipeline/processors/analyze.py
diff --git a/.planning/debug/zhihu-article-images-missing.md b/.planning/debug/zhihu-article-images-missing.md
deleted file mode 100644
index ddb1492..0000000
--- a/.planning/debug/zhihu-article-images-missing.md
+++ /dev/null
@@ -1,81 +0,0 @@
----
-status: awaiting_human_verify
-trigger: "知乎文章处理时图片链接丢失"
-created: 2026-03-15T00:00:00Z
-updated: 2026-03-16T00:00:02Z
----
-
-## Current Focus
-
-hypothesis: 图片重复是因为知乎 HTML 包含 <noscript> 标签 - 已确认并修复
-test: 已添加 test_noscript_images_not_duplicated 测试
-expecting: 用户验证实际知乎链接处理
-next_action: 等待用户验证
-
-## Resolution
-
-root_cause: |
-  问题1 (已修复): 知乎使用图片懒加载机制，`<img>` 标签的 `src` 属性包含 SVG 占位符（`data:image/svg+xml;...`），真实图片 URL 存储在 `data-actualsrc` 属性中。
-
-  问题2 (本次修复): 知乎 HTML 结构包含 `<noscript>` 标签作为备用，里面有相同的真实图片 URL。修复懒加载后，外层 img 和 noscript 内的 img 都有真实 URL，导致图片重复出现两次。
-
-fix: |
-  修改 `markdown_converter.py` 的 `_fix_lazy_load_images` 方法：
-  1. 在处理 img 标签之前，先移除所有 `<noscript>` 标签
-  2. 这样只保留懒加载的主图片，避免重复
-
-verification: 单元测试全部通过（13/13），包括新的 noscript 重复测试
-files_changed: [kb-zhihu-metadata/markdown_converter.py, tests/test_zhihu_metadata/test_markdown_converter.py]
-
-## Symptoms
-
-expected: 当分析知乎文章时，原文部分的图片链接应该保留在 markdown 中，用户可以在 markdown 中看到图片链接
-actual: 文字内容正确，图片无法看到，最后归档的分析内容中完全没有图片或者图片链接
-errors: 无显式错误，命令执行成功但图片丢失
-reproduction: 运行一键 CLI 命令处理知乎链接：https://www.zhihu.com/question/1936375725931361485/answer/2003232153480226496
-started: 第一次出现，可能是功能从未正确实现
-
-## Eliminated
-
-<!-- APPEND only -->
-
-## Evidence
-
-- timestamp: 2026-03-15T00:00:00Z
-  checked: markdown_converter.py 的图片转换
-  found: markdownify 正确转换 `<img>` 标签为 Markdown 格式 `![](url)`
-  implication: Markdown 转换器工作正常，问题不在转换层
-
-- timestamp: 2026-03-15T00:00:00Z
-  checked: zhihu_extractor.py 的 _extract_answer_content 方法
-  found: 使用 `.RichText` 选择器获取 HTML，然后调用 markdown_converter.convert()
-  implication: 提取逻辑看起来正确，需要验证选择器是否正确获取到包含图片的 HTML
-
-- timestamp: 2026-03-15T00:00:00Z
-  checked: zhihu_article_crawler.py（MediaCrawler 版本）
-  found: 第139行使用 `content_text` 字段，这是纯文本，不包含 HTML
-  implication: 这是另一个路径（MediaCrawler），但 kb_pipeline 使用的是 ZhihuPlaywrightExtractor
-
-- timestamp: 2026-03-15T00:01:00Z
-  checked: 知乎懒加载图片机制
-  found: 知乎图片的 src 属性是 SVG 占位符（data:image/svg+xml;...），真实 URL 在 data-actualsrc 或 data-original 属性中
-  implication: markdownify 只读取 src 属性，得到无效占位符而非真实图片链接
-
-- timestamp: 2026-03-15T00:01:00Z
-  checked: 模拟知乎懒加载 HTML 转换测试
-  found: 确认转换结果包含 `data:image/svg+xml` 占位符而不是真实图片 URL
-  implication: ROOT CAUSE CONFIRMED - 需要预处理 HTML 提取真实图片 URL
-
-- timestamp: 2026-03-16T00:00:00Z
-  checked: 知乎 HTML 结构中的 noscript 标签
-  found: 知乎图片 HTML 结构为 `<figure><img data-actualsrc=...><noscript><img src=...></noscript></figure>`，noscript 内包含备用图片
-  implication: ROOT CAUSE CONFIRMED (问题2) - 修复懒加载后，两个 img 都有真实 URL，导致重复
-
-## Resolution (问题2: 原文丢失)
-
-root_cause: 知乎回答 (answer) 和专栏 (zhuanlan) 的原文没有被追加到分析报告中。代码只在 `content_type == "article"` 时设置和追加原文，但知乎回答的类型是 `"answer"`
-fix:
-  - `deep_analyzer.py:184` - 扩展条件为 `content_type in ("article", "answer", "zhuanlan")`
-  - `analyze.py:244` - 扩展条件为 `content_type in ("article", "answer", "zhuanlan")`
-verification: 待用户测试
-files_changed: [kb-deep-analyzer/deep_analyzer.py, kb_pipeline/processors/analyze.py]
diff --git a/kb-deep-analyzer/deep_analyzer.py b/kb-deep-analyzer/deep_analyzer.py
index 93d4298..2f947ce 100644
--- a/kb-deep-analyzer/deep_analyzer.py
+++ b/kb-deep-analyzer/deep_analyzer.py
@@ -141,14 +141,26 @@ class DeepAnalyzer:
         
         # 标准化元数据
         metadata = self._normalize_metadata(metadata)
-        
+
         title = metadata.get('title', '未知')
         duration = metadata.get('duration', 0)
         author = metadata.get('author', '')
         pubtime = metadata.get('pubtime', '')
         url = metadata.get('url', '')
         bvid = metadata.get('bvid', '')
-        platform = metadata.get('platform', 'bilibili')
+
+        # 推断 platform：优先使用元数据中的值，否则根据 URL 或 content_type 推断
+        platform = metadata.get('platform', '')
+        if not platform:
+            if 'zhihu.com' in url or content_type in ('answer', 'zhuanlan', 'question'):
+                platform = 'zhihu'
+            elif 'bilibili.com' in url or bvid:
+                platform = 'bilibili'
+            else:
+                platform = 'bilibili'  # 默认值
+
+        # 清理 author 字段：移除零宽度空格和前后空白
+        author = self._clean_author(author)
         
         # 获取内容 - 支持多种字段名
         text = content.get('text', '') or content.get('subtitle', '') or content.get('subtitles', '') or content.get('description', '')
@@ -186,11 +198,11 @@ class DeepAnalyzer:
         
         return result
     
-    def _build_prompt(self, title: str, duration: int, duration_str: str, author: str, 
-                      pubtime: str, url: str, bvid: str, platform: str, text: str, 
+    def _build_prompt(self, title: str, duration: int, duration_str: str, author: str,
+                      pubtime: str, url: str, bvid: str, platform: str, text: str,
                       content_type: str = "video") -> str:
         """构建分析 prompt，根据内容类型选择不同模板"""
-        if content_type == "article":
+        if content_type in ("article", "answer", "zhuanlan"):
             return self._build_article_prompt(title, author, pubtime, url, platform, text)
         else:
             return self._build_video_prompt(title, duration, duration_str, author, pubtime, url, bvid, platform, text)
@@ -422,6 +434,22 @@ URL：{url}
             return f"{h}:{m:02d}:{s:02d}"
         return f"{m}:{s:02d}"
 
+    def _clean_author(self, author: str) -> str:
+        """清理 author 字段：移除零宽度空格和前后空白"""
+        if not author:
+            return ''
+        # 移除零宽度空格 (U+200B) 和其他不可见字符
+        invisible_chars = ['\u200b', '\u200c', '\u200d', '\ufeff', '\u00ad']
+        cleaned = author
+        for char in invisible_chars:
+            cleaned = cleaned.replace(char, '')
+        # 移除前后空白和换行
+        cleaned = cleaned.strip()
+        # 如果包含换行符，只取第一行
+        if '\n' in cleaned:
+            cleaned = cleaned.split('\n')[0].strip()
+        return cleaned
+
 
 # ============== 工具函数 ==============
 
@@ -437,19 +465,34 @@ def generate_frontmatter(metadata: Dict, result: AnalysisResult, content_type: s
     """生成 Markdown frontmatter"""
     # 提取标签
     tags = result.recommended_tags or []
-    
+
     # 格式化日期
     pubtime = metadata.get('pubtime', '')
     if pubtime:
         date_str = str(pubtime)[:10]
     else:
         date_str = datetime.now().strftime('%Y-%m-%d')
-    
-    fm = ["---", 
+
+    # 清理 author 字段
+    author = metadata.get('author', '未知')
+    author = _clean_string(author)
+
+    # 推断 platform
+    url = metadata.get('url', '')
+    platform = metadata.get('platform', '')
+    if not platform:
+        if 'zhihu.com' in url or content_type in ('answer', 'zhuanlan', 'question'):
+            platform = 'zhihu'
+        elif 'bilibili.com' in url or metadata.get('bvid'):
+            platform = 'bilibili'
+        else:
+            platform = 'bilibili'
+
+    fm = ["---",
           f"title: \"{metadata.get('title', '未命名')}\"",
           f"date: {date_str}",
-          f"author: {metadata.get('author', '未知')}",
-          f"platform: {metadata.get('platform', 'bilibili')}"]
+          f"author: {author}",
+          f"platform: {platform}"]
     
     # 视频类型添加 duration 和 bvid
     if content_type == "video":
@@ -470,6 +513,23 @@ def generate_frontmatter(metadata: Dict, result: AnalysisResult, content_type: s
     return '\n'.join(fm)
 
 
+def _clean_string(text: str) -> str:
+    """清理字符串：移除零宽度空格和前后空白"""
+    if not text:
+        return ''
+    # 移除零宽度空格 (U+200B) 和其他不可见字符
+    invisible_chars = ['\u200b', '\u200c', '\u200d', '\ufeff', '\u00ad']
+    cleaned = text
+    for char in invisible_chars:
+        cleaned = cleaned.replace(char, '')
+    # 移除前后空白和换行
+    cleaned = cleaned.strip()
+    # 如果包含换行符，只取第一行
+    if '\n' in cleaned:
+        cleaned = cleaned.split('\n')[0].strip()
+    return cleaned
+
+
 # ============== 主程序 ==============
 
 def main():
diff --git a/kb_pipeline/processors/analyze.py b/kb_pipeline/processors/analyze.py
index 154d0cf..0cfd1d8 100644
--- a/kb_pipeline/processors/analyze.py
+++ b/kb_pipeline/processors/analyze.py
@@ -101,6 +101,8 @@ class AnalyzeProcessor(BaseProcessor):
                 content_path = Path(input_data.content_file)
                 if content_path.exists():
                     text = content_path.read_text(encoding="utf-8")
+                    # 去除 YAML frontmatter（如果存在）
+                    text = self._strip_frontmatter(text)
                     content = {"text": text}
 
             # Step 3: 调用 DeepAnalyzer
@@ -254,6 +256,37 @@ class AnalyzeProcessor(BaseProcessor):
 
         return metadata
 
+    def _strip_frontmatter(self, text: str) -> str:
+        """去除 Markdown 文件中的 YAML frontmatter
+
+        Args:
+            text: 可能包含 frontmatter 的文本
+
+        Returns:
+            去除 frontmatter 后的文本
+        """
+        if not text:
+            return text
+
+        # 检查是否以 --- 开头
+        if not text.startswith('---'):
+            return text
+
+        # 找到第二个 ---
+        lines = text.split('\n')
+        end_index = -1
+        for i in range(1, len(lines)):
+            if lines[i].strip() == '---':
+                end_index = i
+                break
+
+        if end_index == -1:
+            return text
+
+        # 返回 frontmatter 之后的内容（跳过空行）
+        remaining = '\n'.join(lines[end_index + 1:])
+        return remaining.lstrip('\n')
+
     def _write_analysis_report(
         self,
         output_path: Path,