chore: complete v1.3 Proxy Pool milestone
This commit is contained in:
@@ -1,224 +0,0 @@
|
||||
# Requirements: kb-skills
|
||||
|
||||
**Defined:** 2026-03-17
|
||||
**Core Value:** 可靠、可维护的处理管道 - 每个步骤独立、可验证、可恢复
|
||||
|
||||
## v1.2 Requirements
|
||||
|
||||
知乎内容爬取体系的完整实现，解决 Cookie 过期问题，支持自动登录维持。
|
||||
|
||||
### 登录认证
|
||||
|
||||
- [x] **AUTH-01**: 用户可通过二维码扫码登录知乎
|
||||
- [x] **AUTH-02**: 用户可手动设置 Cookie 进行认证
|
||||
- [x] **AUTH-03**: Cookie 自动持久化到本地文件，下次自动复用
|
||||
- [x] **AUTH-04**: Cookie 过期时自动检测并提示重新登录
|
||||
|
||||
### 内容爬取
|
||||
|
||||
- [x] **CONT-01**: 爬取知乎问答 - 问题标题、问题描述、回答内容、元数据
|
||||
- [x] **CONT-02**: 爬取知乎专栏/文章 - 标题、正文、元数据
|
||||
- [x] **CONT-03**: 爬取内容下的评论（可选开关）
|
||||
- [x] **CONT-04**: 提取作者信息、发布时间、点赞数等元数据
|
||||
|
||||
### 网络与反爬
|
||||
|
||||
- [x] **NET-01**: 支持代理 IP 配置
|
||||
- [x] **NET-02**: 请求频率控制，避免触发反爬
|
||||
- [x] **NET-03**: 自动获取请求签名（x-zse-96），无需手动逆向
|
||||
|
||||
### Pipeline 整合
|
||||
|
||||
- [x] **PIPE-01**: 替换现有 ZhihuProcessor，使用新的爬虫实现
|
||||
- [x] **PIPE-02**: 保持与现有 Pipeline 架构的兼容性
|
||||
- [x] **PIPE-03**: 支持断点续传和幂等执行
|
||||
|
||||
## v1.1 Requirements (Complete)
|
||||
|
||||
### 中间目录 (Intermediate)
|
||||
|
||||
- [x] **INT-01**: 中间目录统一到 `~/work/intermediate/analysis/`
|
||||
- [x] **INT-02**: 内容目录命名保持 `{platform}_{content_id}/` 格式
|
||||
- [x] **INT-03**: 配置文件支持自定义中间目录路径
|
||||
|
||||
### 归档步骤 (Archive)
|
||||
|
||||
- [x] **ARC-01**: 添加 ArchiveProcessor 作为管道最后一步
|
||||
- [x] **ARC-02**: 分析完成后自动归档到最终目录
|
||||
- [x] **ARC-03**: 归档只复制 md 文件到最终目录
|
||||
- [x] **ARC-04**: 归档后可选清理中间文件
|
||||
|
||||
### 最终目录结构 (Output)
|
||||
|
||||
- [x] **OUT-01**: 最终目录按平台分目录 (bilibili/, zhihu/)
|
||||
- [x] **OUT-02**: 不再按时间创建归档目录
|
||||
- [x] **OUT-03**: 文件前缀加时间戳 `{timestamp}_{content_id}_analysis.md`
|
||||
- [x] **OUT-04**: 只保留 md 文件，不归档 json 文件
|
||||
|
||||
### 代码整合 - 元数据 (Metadata Integration)
|
||||
|
||||
- [x] **MET-01**: kb-bilibili-metadata 整合进 kb-workflow/metadata/
|
||||
- [x] **MET-02**: kb-zhihu-metadata 整合进 kb-workflow/metadata/
|
||||
- [x] **MET-03**: 删除独立的 kb-bilibili-metadata 目录
|
||||
- [x] **MET-04**: 删除独立的 kb-zhihu-metadata 目录
|
||||
- [x] **MET-05**: 更新所有导入路径指向新位置
|
||||
|
||||
### 代码整合 - Pipeline (Pipeline Integration)
|
||||
|
||||
- [x] **PIP-01**: kb_pipeline/ 合并进 kb-workflow/
|
||||
- [x] **PIP-02**: 保持 processors/, platforms/, schemas.py, state.py, config.py 结构
|
||||
- [x] **PIP-03**: 删除独立的 kb_pipeline 目录
|
||||
- [x] **PIP-04**: 更新 CLI 入口导入路径
|
||||
|
||||
## v1.3 Requirements (Current)
|
||||
|
||||
反爬虫优化，增强爬虫反检测能力，降低被封风险，提升爬取稳定性。
|
||||
|
||||
### Proxy Pool (代理池管理)
|
||||
|
||||
- [x] **PROXY-01**: 用户可以配置代理池 — 支持从文件或环境变量加载多个代理地址
|
||||
- [x] **PROXY-02**: 系统自动轮换代理 — 每次请求自动选择下一个可用代理
|
||||
- [x] **PROXY-03**: 代理健康检查 — 检测代理可用性，自动移除失效代理
|
||||
- [x] **PROXY-04**: 代理失败回退 — 当前代理失败时自动切换到下一个代理
|
||||
|
||||
### Behavior Camouflage (请求行为伪装)
|
||||
|
||||
- [ ] **BEHAV-01**: 随机请求延迟 — 请求间隔在可配置范围内随机化（默认 1-5 秒）
|
||||
- [ ] **BEHAV-02**: User-Agent 轮换 — 每次请求使用不同的真实浏览器 UA
|
||||
- [ ] **BEHAV-03**: 请求头随机化 — Accept-Language、Accept-Encoding 等头部随机化
|
||||
- [ ] **BEHAV-04**: 模拟人类浏览模式 — 支持页面滚动、鼠标移动等行为模拟（Playwright）
|
||||
|
||||
### CAPTCHA Detection (验证码检测)
|
||||
|
||||
- [ ] **CAPT-01**: 验证码页面检测 — 自动检测知乎/B站验证码页面
|
||||
- [ ] **CAPT-02**: 验证码触发告警 — 检测到验证码时记录日志并暂停爬取
|
||||
- [ ] **CAPT-03**: 验证码状态恢复 — 支持手动处理后继续爬取
|
||||
|
||||
### Error Recovery (错误恢复机制)
|
||||
|
||||
- [ ] **ERR-01**: 智能重试策略 — 根据错误类型选择不同的重试策略（403/429/超时）
|
||||
- [ ] **ERR-02**: 指数退避 + 抖动 — 重试间隔使用指数退避并添加随机抖动
|
||||
- [ ] **ERR-03**: 错误分类处理 — 区分临时错误和永久错误，避免无效重试
|
||||
- [ ] **ERR-04**: 断点续传增强 — 记录失败位置，支持从失败点恢复
|
||||
|
||||
### Platform Adaptation (平台适配)
|
||||
|
||||
- [ ] **PLAT-01**: 知乎反爬适配 — 针对知乎的反爬策略优化（登录态检测、请求频率限制）
|
||||
- [ ] **PLAT-02**: B站反爬适配 — 针对 B站的反爬策略优化（视频/专栏元数据获取）
|
||||
|
||||
## v2 Requirements (Deferred)
|
||||
|
||||
推迟到后续版本的需求。
|
||||
|
||||
### 扩展爬取
|
||||
|
||||
- **EXT-01**: 问题下所有回答 - 爬取问题的所有热门回答（非单页）
|
||||
- **EXT-02**: 作者全部内容 - 爬取某作者的所有文章/回答
|
||||
- **EXT-03**: 知乎视频 - 爬取知乎视频内容
|
||||
|
||||
### 高级功能
|
||||
|
||||
- **ADV-01**: 进度可见性 — 实时显示工作流执行进度
|
||||
- **ADV-02**: 并行步骤执行 — 支持独立步骤的并行执行
|
||||
- **ADV-03**: 说话者分离默认启用 — HF_TOKEN 配置后自动使用
|
||||
- **ADV-04**: 微信公众号处理 — 支持微信公众号文章
|
||||
|
||||
## Out of Scope
|
||||
|
||||
明确排除的功能范围。
|
||||
|
||||
| Feature | Reason |
|
||||
|---------|--------|
|
||||
| 知乎会员付费内容 | 不爬取付费内容，合规考虑 |
|
||||
| 知乎视频 | v1.2 不支持，推迟到后续版本 |
|
||||
| 大规模爬取 | 仅用于个人知识库，不对平台造成负担 |
|
||||
| 付费打码服务 | 使用二维码登录替代，免费方案 |
|
||||
| 实时/流式处理 | 批量处理即可 |
|
||||
| 并发限制 | 不需要限制并发数量 |
|
||||
| 用户界面 | 命令行运行 |
|
||||
| 多语言支持 | 中文即可 |
|
||||
| 小红书 | 当前不支持 |
|
||||
|
||||
## Traceability
|
||||
|
||||
需求与路线图的映射关系。
|
||||
|
||||
### v1.2 Traceability
|
||||
|
||||
| Requirement | Phase | Status |
|
||||
|-------------|-------|--------|
|
||||
| AUTH-01 | Phase 7 | Complete |
|
||||
| AUTH-02 | Phase 7 | Complete |
|
||||
| AUTH-03 | Phase 7 | Complete |
|
||||
| AUTH-04 | Phase 7 | Complete |
|
||||
| CONT-01 | Phase 8 | Complete |
|
||||
| CONT-02 | Phase 8 | Complete |
|
||||
| CONT-03 | Phase 8 | Complete |
|
||||
| CONT-04 | Phase 8 | Complete |
|
||||
| NET-01 | Phase 8 | Complete |
|
||||
| NET-02 | Phase 8 | Complete |
|
||||
| NET-03 | Phase 8 | Complete |
|
||||
| PIPE-01 | Phase 9 | Complete |
|
||||
| PIPE-02 | Phase 9 | Complete |
|
||||
| PIPE-03 | Phase 9 | Complete |
|
||||
|
||||
**v1.2 Coverage:**
|
||||
- Requirements: 14 total
|
||||
- Mapped to phases: 14
|
||||
- Unmapped: 0 ✓
|
||||
|
||||
### v1.1 Traceability (Complete)
|
||||
|
||||
| Requirement | Phase | Status |
|
||||
|-------------|-------|--------|
|
||||
| INT-01 | Phase 5 | Complete |
|
||||
| INT-02 | Phase 5 | Complete |
|
||||
| INT-03 | Phase 5 | Complete |
|
||||
| ARC-01 | Phase 5 | Complete |
|
||||
| ARC-02 | Phase 5 | Complete |
|
||||
| ARC-03 | Phase 5 | Complete |
|
||||
| ARC-04 | Phase 5 | Complete |
|
||||
| OUT-01 | Phase 5 | Complete |
|
||||
| OUT-02 | Phase 5 | Complete |
|
||||
| OUT-03 | Phase 5 | Complete |
|
||||
| OUT-04 | Phase 5 | Complete |
|
||||
| MET-01 | Phase 6 | Complete |
|
||||
| MET-02 | Phase 6 | Complete |
|
||||
| MET-03 | Phase 6 | Complete |
|
||||
| MET-04 | Phase 6 | Complete |
|
||||
| MET-05 | Phase 6 | Complete |
|
||||
| PIP-01 | Phase 6 | Complete |
|
||||
| PIP-02 | Phase 6 | Complete |
|
||||
| PIP-03 | Phase 6 | Complete |
|
||||
| PIP-04 | Phase 6 | Complete |
|
||||
|
||||
---
|
||||
*Requirements defined: 2026-03-17*
|
||||
*Last updated: 2026-03-18 after v1.3 requirements added*
|
||||
|
||||
### v1.3 Traceability
|
||||
|
||||
| Requirement | Phase | Status |
|
||||
|-------------|-------|--------|
|
||||
| PROXY-01 | Phase 10 | Complete |
|
||||
| PROXY-02 | Phase 10 | Complete |
|
||||
| PROXY-03 | Phase 10 | Complete |
|
||||
| PROXY-04 | Phase 10 | Complete |
|
||||
| BEHAV-01 | Phase 11 | Pending |
|
||||
| BEHAV-02 | Phase 11 | Pending |
|
||||
| BEHAV-03 | Phase 11 | Pending |
|
||||
| BEHAV-04 | Phase 11 | Pending |
|
||||
| CAPT-01 | Phase 12 | Pending |
|
||||
| CAPT-02 | Phase 12 | Pending |
|
||||
| CAPT-03 | Phase 12 | Pending |
|
||||
| ERR-01 | Phase 13 | Pending |
|
||||
| ERR-02 | Phase 13 | Pending |
|
||||
| ERR-03 | Phase 13 | Pending |
|
||||
| ERR-04 | Phase 13 | Pending |
|
||||
| PLAT-01 | Phase 14 | Pending |
|
||||
| PLAT-02 | Phase 14 | Pending |
|
||||
|
||||
**v1.3 Coverage:**
|
||||
- Requirements: 17 total
|
||||
- Mapped to phases: 17
|
||||
- Unmapped: 0 ✓
|
||||
Reference in New Issue
Block a user