diff --git a/.planning/REQUIREMENTS.md b/.planning/REQUIREMENTS.md index ecf5463..453785c 100644 --- a/.planning/REQUIREMENTS.md +++ b/.planning/REQUIREMENTS.md @@ -1,9 +1,39 @@ -# Requirements: kb-skills v1.1 Architecture Refactor +# Requirements: kb-skills -**Defined:** 2026-03-16 +**Defined:** 2026-03-17 **Core Value:** 可靠、可维护的处理管道 - 每个步骤独立、可验证、可恢复 -## v1.1 Requirements +## v1.2 Requirements + +知乎内容爬取体系的完整实现,解决 Cookie 过期问题,支持自动登录维持。 + +### 登录认证 + +- [ ] **AUTH-01**: 用户可通过二维码扫码登录知乎 +- [ ] **AUTH-02**: 用户可手动设置 Cookie 进行认证 +- [ ] **AUTH-03**: Cookie 自动持久化到本地文件,下次自动复用 +- [ ] **AUTH-04**: Cookie 过期时自动检测并提示重新登录 + +### 内容爬取 + +- [ ] **CONT-01**: 爬取知乎问答 - 问题标题、问题描述、回答内容、元数据 +- [ ] **CONT-02**: 爬取知乎专栏/文章 - 标题、正文、元数据 +- [ ] **CONT-03**: 爬取内容下的评论(可选开关) +- [ ] **CONT-04**: 提取作者信息、发布时间、点赞数等元数据 + +### 网络与反爬 + +- [ ] **NET-01**: 支持代理 IP 配置 +- [ ] **NET-02**: 请求频率控制,避免触发反爬 +- [ ] **NET-03**: 自动获取请求签名(x-zse-96),无需手动逆向 + +### Pipeline 整合 + +- [ ] **PIPE-01**: 替换现有 ZhihuProcessor,使用新的爬虫实现 +- [ ] **PIPE-02**: 保持与现有 Pipeline 架构的兼容性 +- [ ] **PIPE-03**: 支持断点续传和幂等执行 + +## v1.1 Requirements (Complete) ### 中间目录 (Intermediate) @@ -35,38 +65,74 @@ ### 代码整合 - Pipeline (Pipeline Integration) -- [ ] **PIP-01**: kb_pipeline/ 合并进 kb-workflow/ -- [ ] **PIP-02**: 保持 processors/, platforms/, schemas.py, state.py, config.py 结构 -- [ ] **PIP-03**: 删除独立的 kb_pipeline 目录 +- [x] **PIP-01**: kb_pipeline/ 合并进 kb-workflow/ +- [x] **PIP-02**: 保持 processors/, platforms/, schemas.py, state.py, config.py 结构 +- [x] **PIP-03**: 删除独立的 kb_pipeline 目录 - [x] **PIP-04**: 更新 CLI 入口导入路径 -## v2 Requirements +## v2 Requirements (Deferred) -Deferred to future release. +推迟到后续版本的需求。 -### 进度与性能 +### 扩展爬取 + +- **EXT-01**: 问题下所有回答 - 爬取问题的所有热门回答(非单页) +- **EXT-02**: 作者全部内容 - 爬取某作者的所有文章/回答 +- **EXT-03**: 知乎视频 - 爬取知乎视频内容 + +### 高级功能 - **ADV-01**: 进度可见性 — 实时显示工作流执行进度 - **ADV-02**: 并行步骤执行 — 支持独立步骤的并行执行 - **ADV-03**: 说话者分离默认启用 — HF_TOKEN 配置后自动使用 - -### 平台扩展 - -- **EXT-01**: 微信公众号处理 — 支持微信公众号文章 +- **ADV-04**: 微信公众号处理 — 支持微信公众号文章 ## Out of Scope +明确排除的功能范围。 + | Feature | Reason | |---------|--------| +| 知乎会员付费内容 | 不爬取付费内容,合规考虑 | +| 知乎视频 | v1.2 不支持,推迟到后续版本 | +| 大规模爬取 | 仅用于个人知识库,不对平台造成负担 | +| 付费打码服务 | 使用二维码登录替代,免费方案 | | 实时/流式处理 | 批量处理即可 | | 并发限制 | 不需要限制并发数量 | | 用户界面 | 命令行运行 | | 多语言支持 | 中文即可 | | 小红书 | 当前不支持 | -| 归档 json 文件 | 只保留最终 md 分析报告 | ## Traceability +需求与路线图的映射关系。 + +### v1.2 Traceability + +| Requirement | Phase | Status | +|-------------|-------|--------| +| AUTH-01 | — | Pending | +| AUTH-02 | — | Pending | +| AUTH-03 | — | Pending | +| AUTH-04 | — | Pending | +| CONT-01 | — | Pending | +| CONT-02 | — | Pending | +| CONT-03 | — | Pending | +| CONT-04 | — | Pending | +| NET-01 | — | Pending | +| NET-02 | — | Pending | +| NET-03 | — | Pending | +| PIPE-01 | — | Pending | +| PIPE-02 | — | Pending | +| PIPE-03 | — | Pending | + +**v1.2 Coverage:** +- Requirements: 14 total +- Mapped to phases: 0 +- Unmapped: 14 ⚠️ + +### v1.1 Traceability (Complete) + | Requirement | Phase | Status | |-------------|-------|--------| | INT-01 | Phase 5 | Complete | @@ -85,16 +151,11 @@ Deferred to future release. | MET-03 | Phase 6 | Complete | | MET-04 | Phase 6 | Complete | | MET-05 | Phase 6 | Complete | -| PIP-01 | Phase 6 | Pending | -| PIP-02 | Phase 6 | Pending | -| PIP-03 | Phase 6 | Pending | +| PIP-01 | Phase 6 | Complete | +| PIP-02 | Phase 6 | Complete | +| PIP-03 | Phase 6 | Complete | | PIP-04 | Phase 6 | Complete | -**Coverage:** -- v1.1 requirements: 20 total -- Mapped to phases: 20 -- Unmapped: 0 ✓ - --- -*Requirements defined: 2026-03-16* -*Last updated: 2026-03-16 after 05-01 completion* +*Requirements defined: 2026-03-17* +*Last updated: 2026-03-17 after v1.2 milestone started*