docs: start milestone v1.3 Anti-Crawler Optimization

This commit is contained in:
2026-03-18 11:59:39 +08:00
parent 9c8ac34138
commit e4f96be0c4
2 changed files with 56 additions and 56 deletions
+25 -18
View File
@@ -1,16 +1,15 @@
# kb-skills 工作流重构
## Current Milestone: v1.2 Zhihu Crawler
## Current Milestone: v1.3 Anti-Crawler Optimization
**Goal:** 构建可靠的知乎内容爬取体系 — 解决 Cookie 过期问题,支持自动登录维持
**Goal:** 增强爬虫反检测能力,降低被封风险,提升爬取稳定性
**Target features:**
- 二维码扫码登录 + 手动 Cookie 降级
- Cookie 持久化存储
- 问答/专栏/文章内容爬取
- 评论爬取支持
- 代理 IP 支持
- 整合进现有 Pipeline
- 代理 IP 轮换机制
- 请求行为伪装(随机间隔、模拟人类行为)
- 验证码检测与处理
- 错误恢复机制(自动重试、指数退避)
- 知乎 + B站 双平台支持
## What This Is
@@ -62,17 +61,25 @@ python3 kb-workflow/kb_workflow.py process "https://www.bilibili.com/video/BVxxx
- ✓ OCR 文字识别 — ocr_processor.py
- ✓ AI 深度分析 — deep_analyzer.py
**v1.2 Zhihu Crawler (2026-03-17):**
- ✓ **ZHIHU-01**: 二维码扫码登录 — playwright 提取二维码,用户扫码
- ✓ **ZHIHU-02**: 手动 Cookie 降级 — 扫码失败时支持手动设置 Cookie
- ✓ **ZHIHU-03**: Cookie 持久化 — 本地存储 Cookie,自动复用
- ✓ **ZHIHU-04**: 问答内容爬取 — 问题标题、回答内容、元数据
- ✓ **ZHIHU-05**: 专栏/文章爬取 — 文章标题、正文、元数据
- ✓ **ZHIHU-06**: 评论爬取 — 支持爬取内容下的评论
- ✓ **ZHIHU-07**: 代理 IP 支持 — 降低被封风险
- ✓ **ZHIHU-08**: Pipeline 整合 — 替换现有知乎处理器
### Active
**v1.2 Zhihu Crawler:**
- [ ] **ZHIHU-01**: 二维码扫码登录 — playwright 提取二维码,用户扫码
- [ ] **ZHIHU-02**: 手动 Cookie 降级 — 扫码失败时支持手动设置 Cookie
- [ ] **ZHIHU-03**: Cookie 持久化 — 本地存储 Cookie,自动复用
- [ ] **ZHIHU-04**: 问答内容爬取 — 问题标题、回答内容、元数据
- [ ] **ZHIHU-05**: 专栏/文章爬取 — 文章标题、正文、元数据
- [ ] **ZHIHU-06**: 评论爬取 — 支持爬取内容下的评论
- [ ] **ZHIHU-07**: 代理 IP 支持 — 降低被封风险
- [ ] **ZHIHU-08**: Pipeline 整合 — 替换现有知乎处理器
**v1.3 Anti-Crawler Optimization:**
- [ ] **AC-01**: 代理池管理 — 支持配置代理池,自动轮换 IP
- [ ] **AC-02**: 请求行为伪装 — 随机化请求间隔,模拟人类行为
- [ ] **AC-03**: 验证码检测 — 检测验证码页面,触发告警/暂停
- [ ] **AC-04**: 错误恢复机制 — 自动重试、指数退避、断点续传增强
- [ ] **AC-05**: 知乎反爬适配 — 针对知乎的反爬策略优化
- [ ] **AC-06**: B站反爬适配 — 针对 B站的反爬策略优化
### Deferred
@@ -133,4 +140,4 @@ python3 kb-workflow/kb_workflow.py process "https://www.bilibili.com/video/BVxxx
| 懒加载导入 | AnalyzeProcessor 懒加载 DeepAnalyzer | ✓ Good — 避免依赖问题 |
---
*Last updated: 2026-03-17 after v1.2 milestone started*
*Last updated: 2026-03-18 after v1.3 milestone started*