Merge pull request 'fix/ci-deploy-reset' (#19) from fix/ci-deploy-reset into main
Deploy kb-skills / deploy (push) Successful in 1s

Reviewed-on: http://192.168.1.22:8418/starmen1265/kb-skills/pulls/19
This commit was merged in pull request #19.
This commit is contained in:
2026-03-16 18:21:01 +08:00
4 changed files with 244 additions and 13 deletions
@@ -1,8 +1,8 @@
---
status: awaiting_human_verify
status: resolved
trigger: "知乎文章处理时图片链接丢失"
created: 2026-03-15T00:00:00Z
updated: 2026-03-16T00:00:02Z
updated: 2026-03-16T00:00:03Z
---
## Current Focus
@@ -77,5 +77,5 @@ root_cause: 知乎回答 (answer) 和专栏 (zhuanlan) 的原文没有被追加
fix:
- `deep_analyzer.py:184` - 扩展条件为 `content_type in ("article", "answer", "zhuanlan")`
- `analyze.py:244` - 扩展条件为 `content_type in ("article", "answer", "zhuanlan")`
verification: 待用户测试
verification: 用户确认知乎图片已正常显示 - 2026-03-16
files_changed: [kb-deep-analyzer/deep_analyzer.py, kb_pipeline/processors/analyze.py]
@@ -0,0 +1,138 @@
---
status: awaiting_human_verify
trigger: "知乎文章归档输出格式存在多个问题"
created: "2026-03-16T17:45:00+08:00"
updated: "2026-03-16T18:15:00+08:00"
---
## Current Focus
hypothesis: 修复完成,等待用户验证
test: 用户运行实际工作流验证
expecting: 知乎文章归档格式正确
next_action: 等待用户确认
## Symptoms
expected: |
1. 元数据 YAML 格式正确,Obsidian 可以正常解析
2. 文章归档模板应与视频不同:只要 300 字摘要 + 原文
3. 原文部分不应包含额外的元数据格式
4. 原文部分第一句应保持为正文,不应变成标题
actual: |
1. bvid 这一项空了一行导致 Obsidian 读取元数据错误
2. 文章归档使用了视频模板,显示了视频时间
3. 原文部分多了一段元数据格式
4. 原文部分第一句正文变成了标题
errors: 无显式错误,Obsidian 解析 YAML 元数据失败
reproduction: 运行一键 CLI 命令处理知乎文章链接,查看生成的归档 Markdown 文件
started: 刚发现,可能是模板或格式化逻辑问题
## Eliminated
## Evidence
- timestamp: "2026-03-16T17:45:00+08:00"
checked: zhihu_2003232153480226496_content.md 文件
found: |
1. frontmatter 中 author 字段后有空行(第4行 author 后有一个空行)
2. content.md 使用的是 zhihu.py 中的 _format_with_frontmatter,不是 deep_analyzer
3. 该文件是原始抓取的内容,不是最终分析报告
implication: 问题可能在两个地方 - zhihu.py 的 _format_with_frontmatter 和 deep_analyzer.py 的 generate_frontmatter
- timestamp: "2026-03-16T17:47:00+08:00"
checked: deep_analyzer.py 的 generate_frontmatter 函数(第436-470行)
found: |
1. 第455-459行:只有 content_type == "video" 时才添加 bvid
2. 这意味着对 answer/zhuanlan 类型不应该添加 bvid
3. 但代码中 bvid 只在 video 类型下插入
implication: generate_frontmatter 函数本身的逻辑是正确的,问题可能出在调用方或数据源
- timestamp: "2026-03-16T17:48:00+08:00"
checked: zhihu.py 的 _format_with_frontmatter 函数(第237-265行)
found: |
该函数用于 fetch_content,生成简单的 frontmatter:
- title, author, source_url, platform, content_type, fetched_at
- 没有 bvid 字段
implication: zhihu.py 生成的 content.md 是正确的,问题可能出在最终的分析报告
- timestamp: "2026-03-16T17:49:00+08:00"
checked: 用户报告的问题描述与实际 content.md 对比
found: |
实际 zhihu_2003232153480226496_content.md 文件中:
- author 字段后有换行符(author 的值包含换行)
- frontmatter 格式看起来正确,但 author 值 "啦啦啦啦​​" 后有不可见字符/换行
implication: 问题可能是 author 字段的值包含换行符,导致 YAML 解析失败
- timestamp: "2026-03-16T17:51:00+08:00"
checked: metadata.json 中的 author 字段
found: author 值为 '啦啦啦啦\u200b\n\u200b',包含零宽度空格(U+200B)和换行符
implication: zhihu_extractor 提取的 author 字段包含不可见字符,需要在生成 frontmatter 时清理
- timestamp: "2026-03-16T17:53:00+08:00"
checked: deep_analyzer.py 的 _build_prompt 函数(第193-196行)
found: |
if content_type == "article":
return self._build_article_prompt(...)
else:
return self._build_video_prompt(...)
只检查 "article",不检查 "answer" 或 "zhuanlan"
implication: 知乎 answer 类型走视频模板,导致生成了"时间轴"等视频专用内容
- timestamp: "2026-03-16T17:54:00+08:00"
checked: analysis.md 最终分析报告
found: |
1. 第4-5行 author 后有空行(零宽度空格+换行)
2. 第6行 platform: bilibili(应该是 zhihu)
3. 第41-67行有"时间轴"部分(视频模板,文章不需要)
4. 第69-212行"原文"部分追加了完整的 content.md(包含 frontmatter)
implication: 多个问题需要修复
- timestamp: "2026-03-16T17:55:00+08:00"
checked: analyze.py 的 _write_analysis_report 函数(第283-285行)
found: |
if content_type in ("article", "answer", "zhuanlan") and result.original_text:
full_analysis = full_analysis.rstrip() + "\n\n## 原文\n\n" + result.original_text
result.original_text 是从 content 的 text 字段提取的,应该只是正文
implication: 问题在 deep_analyzer.py 的 analyze 函数中,original_text 设置为完整的 text,但 text 来自 content.md 的全文
## Resolution
root_cause: |
问题1: author 字段包含零宽度空格(U+200B)和换行符
- 来源: zhihu_extractor 提取的 author 字段包含不可见字符
- 影响: YAML frontmatter 解析失败,Obsidian 无法读取元数据
问题2: _build_prompt 函数只检查 content_type == "article"
- 位置: deep_analyzer.py 第193-196行
- 影响: 知乎 answer/zhuanlan 类型走视频模板,生成"时间轴"等不需要的内容
问题3: 原文部分追加了完整的 content.md(包含 frontmatter)
- 位置: analyze.py 第103行读取整个 content.md 文件
- 影响: "原文"部分包含 YAML frontmatter,第一行变成标题
问题4: platform 字段默认为 bilibili
- 位置: deep_analyzer.py 第151行和第452行
- 影响: 知乎内容的 platform 显示为 bilibili
fix: |
1. deep_analyzer.py:
- _build_prompt: 扩展条件为 content_type in ("article", "answer", "zhuanlan")
- analyze: 清理 author 字段的零宽度空格和换行符
- generate_frontmatter: 清理 author 字段
- 根据 URL 或 content_type 推断 platform
2. analyze.py:
- 读取 content.md 时,去除 frontmatter 部分,只保留正文
verification: |
- 单元测试: 15/15 通过
- _clean_string 函数测试: 成功清理零宽度空格和换行符
- generate_frontmatter 测试: 正确推断 platform 为 zhihu
- _strip_frontmatter 测试: 成功去除 YAML frontmatter
files_changed:
- kb-deep-analyzer/deep_analyzer.py
- kb_pipeline/processors/analyze.py
+70 -10
View File
@@ -141,14 +141,26 @@ class DeepAnalyzer:
# 标准化元数据
metadata = self._normalize_metadata(metadata)
title = metadata.get('title', '未知')
duration = metadata.get('duration', 0)
author = metadata.get('author', '')
pubtime = metadata.get('pubtime', '')
url = metadata.get('url', '')
bvid = metadata.get('bvid', '')
platform = metadata.get('platform', 'bilibili')
# 推断 platform:优先使用元数据中的值,否则根据 URL 或 content_type 推断
platform = metadata.get('platform', '')
if not platform:
if 'zhihu.com' in url or content_type in ('answer', 'zhuanlan', 'question'):
platform = 'zhihu'
elif 'bilibili.com' in url or bvid:
platform = 'bilibili'
else:
platform = 'bilibili' # 默认值
# 清理 author 字段:移除零宽度空格和前后空白
author = self._clean_author(author)
# 获取内容 - 支持多种字段名
text = content.get('text', '') or content.get('subtitle', '') or content.get('subtitles', '') or content.get('description', '')
@@ -186,11 +198,11 @@ class DeepAnalyzer:
return result
def _build_prompt(self, title: str, duration: int, duration_str: str, author: str,
pubtime: str, url: str, bvid: str, platform: str, text: str,
def _build_prompt(self, title: str, duration: int, duration_str: str, author: str,
pubtime: str, url: str, bvid: str, platform: str, text: str,
content_type: str = "video") -> str:
"""构建分析 prompt,根据内容类型选择不同模板"""
if content_type == "article":
if content_type in ("article", "answer", "zhuanlan"):
return self._build_article_prompt(title, author, pubtime, url, platform, text)
else:
return self._build_video_prompt(title, duration, duration_str, author, pubtime, url, bvid, platform, text)
@@ -422,6 +434,22 @@ URL:{url}
return f"{h}:{m:02d}:{s:02d}"
return f"{m}:{s:02d}"
def _clean_author(self, author: str) -> str:
"""清理 author 字段:移除零宽度空格和前后空白"""
if not author:
return ''
# 移除零宽度空格 (U+200B) 和其他不可见字符
invisible_chars = ['\u200b', '\u200c', '\u200d', '\ufeff', '\u00ad']
cleaned = author
for char in invisible_chars:
cleaned = cleaned.replace(char, '')
# 移除前后空白和换行
cleaned = cleaned.strip()
# 如果包含换行符,只取第一行
if '\n' in cleaned:
cleaned = cleaned.split('\n')[0].strip()
return cleaned
# ============== 工具函数 ==============
@@ -437,19 +465,34 @@ def generate_frontmatter(metadata: Dict, result: AnalysisResult, content_type: s
"""生成 Markdown frontmatter"""
# 提取标签
tags = result.recommended_tags or []
# 格式化日期
pubtime = metadata.get('pubtime', '')
if pubtime:
date_str = str(pubtime)[:10]
else:
date_str = datetime.now().strftime('%Y-%m-%d')
fm = ["---",
# 清理 author 字段
author = metadata.get('author', '未知')
author = _clean_string(author)
# 推断 platform
url = metadata.get('url', '')
platform = metadata.get('platform', '')
if not platform:
if 'zhihu.com' in url or content_type in ('answer', 'zhuanlan', 'question'):
platform = 'zhihu'
elif 'bilibili.com' in url or metadata.get('bvid'):
platform = 'bilibili'
else:
platform = 'bilibili'
fm = ["---",
f"title: \"{metadata.get('title', '未命名')}\"",
f"date: {date_str}",
f"author: {metadata.get('author', '未知')}",
f"platform: {metadata.get('platform', 'bilibili')}"]
f"author: {author}",
f"platform: {platform}"]
# 视频类型添加 duration 和 bvid
if content_type == "video":
@@ -470,6 +513,23 @@ def generate_frontmatter(metadata: Dict, result: AnalysisResult, content_type: s
return '\n'.join(fm)
def _clean_string(text: str) -> str:
"""清理字符串:移除零宽度空格和前后空白"""
if not text:
return ''
# 移除零宽度空格 (U+200B) 和其他不可见字符
invisible_chars = ['\u200b', '\u200c', '\u200d', '\ufeff', '\u00ad']
cleaned = text
for char in invisible_chars:
cleaned = cleaned.replace(char, '')
# 移除前后空白和换行
cleaned = cleaned.strip()
# 如果包含换行符,只取第一行
if '\n' in cleaned:
cleaned = cleaned.split('\n')[0].strip()
return cleaned
# ============== 主程序 ==============
def main():
+33
View File
@@ -101,6 +101,8 @@ class AnalyzeProcessor(BaseProcessor):
content_path = Path(input_data.content_file)
if content_path.exists():
text = content_path.read_text(encoding="utf-8")
# 去除 YAML frontmatter(如果存在)
text = self._strip_frontmatter(text)
content = {"text": text}
# Step 3: 调用 DeepAnalyzer
@@ -254,6 +256,37 @@ class AnalyzeProcessor(BaseProcessor):
return metadata
def _strip_frontmatter(self, text: str) -> str:
"""去除 Markdown 文件中的 YAML frontmatter
Args:
text: 可能包含 frontmatter 的文本
Returns:
去除 frontmatter 后的文本
"""
if not text:
return text
# 检查是否以 --- 开头
if not text.startswith('---'):
return text
# 找到第二个 ---
lines = text.split('\n')
end_index = -1
for i in range(1, len(lines)):
if lines[i].strip() == '---':
end_index = i
break
if end_index == -1:
return text
# 返回 frontmatter 之后的内容(跳过空行)
remaining = '\n'.join(lines[end_index + 1:])
return remaining.lstrip('\n')
def _write_analysis_report(
self,
output_path: Path,