5.7 KiB
Roadmap: kb-skills
Milestones
- ✅ v1.0 Pipeline Architecture - Phases 1-4 (shipped 2026-03-15)
- ✅ v1.1 Architecture Refactor - Phases 5-6 (shipped 2026-03-16)
- 🚧 v1.2 Zhihu Crawler - Phases 7-9 (in progress)
Phases
✅ v1.0 Pipeline Architecture (Phases 1-4) - SHIPPED 2026-03-15
Phase 1: Foundation
Goal: 项目基础设施和状态管理 Plans: 3 plans
Plans:
- 01-01: WorkflowStateManager 状态管理
- 01-02: LinkParser URL 解析
- 01-03: IdempotencyChecker 幂等检查
Phase 2: Adapters
Goal: 平台元数据适配器 Plans: 2 plans
Plans:
- 02-01: BilibiliAdapter B站适配器
- 02-02: ZhihuAdapter 知乎适配器
Phase 3: Processors
Goal: 管道处理器架构 Plans: 3 plans
Plans:
- 03-01: BaseProcessor 基类
- 03-02: 具体处理器实现
- 03-03: Schema 验证
Phase 4: Pipeline
Goal: 处理器编排和 CLI Plans: 2 plans
Plans:
- 04-01: Pipeline 编排引擎
- 04-02: CLI process 命令
✅ v1.1 Architecture Refactor (Phases 5-6) - SHIPPED 2026-03-16
Phase 5: 归档与目录优化
Goal: 统一中间目录结构，添加自动归档步骤，优化最终目录布局 Depends on: Phase 4 Requirements: INT-01, INT-02, INT-03, ARC-01, ARC-02, ARC-03, ARC-04, OUT-01, OUT-02, OUT-03, OUT-04 Success Criteria (what must be TRUE):
- 所有分析任务的中间文件统一存放在
~/work/intermediate/analysis/{platform}_{content_id}/ - 分析完成后 md 文件自动复制到按平台分组的最终目录
- 最终目录结构为
{KB_ARCHIVE_PATH}/{platform}/{YYYYMMDD}_{content_id}_analysis.md - 归档时检测重复文件，询问用户是否覆盖
- 不自动清理中间文件（用户手动维护） Plans: 3 plans (all complete)
Phase 6: 代码整合
Goal: 将独立的元数据技能和 Pipeline 模块整合进 kb-workflow Depends on: Phase 5 Requirements: MET-01, MET-02, MET-03, MET-04, MET-05, PIP-01, PIP-02, PIP-03, PIP-04 Success Criteria (what must be TRUE):
- kb-bilibili-metadata 和 kb-zhihu-metadata 代码移入 kb-workflow/metadata/
- kb_pipeline/ 代码合并入 kb-workflow/ 保持 processors/, platforms/, schemas.py 结构
- 所有导入路径更新指向新位置，CLI 正常工作
- 原独立的 kb-bilibili-metadata、kb-zhihu-metadata、kb_pipeline 目录已删除
- 所有 sys.path 动态操作已删除或重构
- Pipeline 类可从 kb_workflow.pipeline 包级别导入 Plans: 3 plans (all complete)
🚧 v1.2 Zhihu Crawler (In Progress)
Milestone Goal: 构建可靠的知乎内容爬取体系 — 解决 Cookie 过期问题，支持自动登录维持
Phase 7: 登录认证体系
Goal: 建立知乎登录认证机制，支持二维码扫码和手动 Cookie 两种方式，实现 Cookie 持久化和过期检测 Depends on: Phase 6 Requirements: AUTH-01, AUTH-02, AUTH-03, AUTH-04 Success Criteria (what must be TRUE):
- 用户可以通过命令行显示二维码并扫码登录知乎
- 扫码失败时用户可以手动设置 Cookie 进行认证
- Cookie 自动保存到本地文件，下次运行自动复用
- Cookie 过期时系统自动检测并提示用户重新登录 Plans: 3 plans (all complete)
Plans:
- 07-01-PLAN.md — 二维码扫码登录核心逻辑 (AUTH-01) + Wave 0 测试脚手架
- 07-02-PLAN.md — Cookie 导入和持久化管理 (AUTH-02, AUTH-03)
- 07-03-PLAN.md — Cookie 验证 + CLI login 子命令 (AUTH-04)
Phase 8: 内容爬取实现
Goal: 实现知乎问答、专栏/文章、评论的完整爬取功能，包含网络反爬措施 Depends on: Phase 7 Requirements: CONT-01, CONT-02, CONT-03, CONT-04, NET-01, NET-02, NET-03 Success Criteria (what must be TRUE):
- 用户可以爬取知乎问答（问题标题、描述、回答内容、元数据）
- 用户可以爬取知乎专栏/文章（标题、正文、元数据）
- 用户可以选择是否爬取内容下的评论
- 爬取结果包含作者信息、发布时间、点赞数等完整元数据
- 用户可以配置代理 IP 以降低被封风险 Plans: 3 plans in 2 waves
Plans:
- 08-01-PLAN.md — 问答和专栏内容爬取 (CONT-01, CONT-02, CONT-04) — Wave 1
- 08-02-PLAN.md — 评论爬取功能 (CONT-03) — Wave 1 (parallel)
- 08-03-PLAN.md — 网络反爬措施 (NET-01, NET-02, NET-03) — Wave 2
Phase 9: Pipeline 整合
Goal: 将新爬虫实现整合进现有 Pipeline 架构，替换原有知乎处理器 Depends on: Phase 8 Requirements: PIPE-01, PIPE-02, PIPE-03 Success Criteria (what must be TRUE):
- 知乎链接使用新爬虫处理器，无需手动设置 Cookie
- 新处理器与现有 Pipeline 架构完全兼容
- 支持断点续传和幂等执行（与其他处理器行为一致） Plans: TBD
Plans:
- 09-01: ZhihuProcessor 替换和整合 (PIPE-01, PIPE-02, PIPE-03)
Progress
Execution Order: Phases execute in numeric order: 1 → 2 → 3 → 4 → 5 → 6 → 7 → 8 → 9
| Phase | Milestone | Plans Complete | Status | Completed |
|---|---|---|---|---|
| 1. Foundation | v1.0 | 3/3 | Complete | 2026-03-15 |
| 2. Adapters | v1.0 | 2/2 | Complete | 2026-03-15 |
| 3. Processors | v1.0 | 3/3 | Complete | 2026-03-15 |
| 4. Pipeline | v1.0 | 2/2 | Complete | 2026-03-15 |
| 5. 归档与目录优化 | v1.1 | 3/3 | Complete | 2026-03-16 |
| 6. 代码整合 | v1.1 | 3/3 | Complete | 2026-03-16 |
| 7. 登录认证体系 | v1.2 | 3/3 | Complete | 2026-03-17 |
| 8. 内容爬取实现 | v1.2 | 0/3 | Ready to execute | - |
| 9. Pipeline 整合 | v1.2 | 0/1 | Not started | - |