docs: start milestone v1.3 Anti-Crawler Optimization
This commit is contained in:
+25
-18
@@ -1,16 +1,15 @@
|
||||
# kb-skills 工作流重构
|
||||
|
||||
## Current Milestone: v1.2 Zhihu Crawler
|
||||
## Current Milestone: v1.3 Anti-Crawler Optimization
|
||||
|
||||
**Goal:** 构建可靠的知乎内容爬取体系 — 解决 Cookie 过期问题,支持自动登录维持
|
||||
**Goal:** 增强爬虫反检测能力,降低被封风险,提升爬取稳定性
|
||||
|
||||
**Target features:**
|
||||
- 二维码扫码登录 + 手动 Cookie 降级
|
||||
- Cookie 持久化存储
|
||||
- 问答/专栏/文章内容爬取
|
||||
- 评论爬取支持
|
||||
- 代理 IP 支持
|
||||
- 整合进现有 Pipeline
|
||||
- 代理 IP 轮换机制
|
||||
- 请求行为伪装(随机间隔、模拟人类行为)
|
||||
- 验证码检测与处理
|
||||
- 错误恢复机制(自动重试、指数退避)
|
||||
- 知乎 + B站 双平台支持
|
||||
|
||||
## What This Is
|
||||
|
||||
@@ -62,17 +61,25 @@ python3 kb-workflow/kb_workflow.py process "https://www.bilibili.com/video/BVxxx
|
||||
- ✓ OCR 文字识别 — ocr_processor.py
|
||||
- ✓ AI 深度分析 — deep_analyzer.py
|
||||
|
||||
**v1.2 Zhihu Crawler (2026-03-17):**
|
||||
- ✓ **ZHIHU-01**: 二维码扫码登录 — playwright 提取二维码,用户扫码
|
||||
- ✓ **ZHIHU-02**: 手动 Cookie 降级 — 扫码失败时支持手动设置 Cookie
|
||||
- ✓ **ZHIHU-03**: Cookie 持久化 — 本地存储 Cookie,自动复用
|
||||
- ✓ **ZHIHU-04**: 问答内容爬取 — 问题标题、回答内容、元数据
|
||||
- ✓ **ZHIHU-05**: 专栏/文章爬取 — 文章标题、正文、元数据
|
||||
- ✓ **ZHIHU-06**: 评论爬取 — 支持爬取内容下的评论
|
||||
- ✓ **ZHIHU-07**: 代理 IP 支持 — 降低被封风险
|
||||
- ✓ **ZHIHU-08**: Pipeline 整合 — 替换现有知乎处理器
|
||||
|
||||
### Active
|
||||
|
||||
**v1.2 Zhihu Crawler:**
|
||||
- [ ] **ZHIHU-01**: 二维码扫码登录 — playwright 提取二维码,用户扫码
|
||||
- [ ] **ZHIHU-02**: 手动 Cookie 降级 — 扫码失败时支持手动设置 Cookie
|
||||
- [ ] **ZHIHU-03**: Cookie 持久化 — 本地存储 Cookie,自动复用
|
||||
- [ ] **ZHIHU-04**: 问答内容爬取 — 问题标题、回答内容、元数据
|
||||
- [ ] **ZHIHU-05**: 专栏/文章爬取 — 文章标题、正文、元数据
|
||||
- [ ] **ZHIHU-06**: 评论爬取 — 支持爬取内容下的评论
|
||||
- [ ] **ZHIHU-07**: 代理 IP 支持 — 降低被封风险
|
||||
- [ ] **ZHIHU-08**: Pipeline 整合 — 替换现有知乎处理器
|
||||
**v1.3 Anti-Crawler Optimization:**
|
||||
- [ ] **AC-01**: 代理池管理 — 支持配置代理池,自动轮换 IP
|
||||
- [ ] **AC-02**: 请求行为伪装 — 随机化请求间隔,模拟人类行为
|
||||
- [ ] **AC-03**: 验证码检测 — 检测验证码页面,触发告警/暂停
|
||||
- [ ] **AC-04**: 错误恢复机制 — 自动重试、指数退避、断点续传增强
|
||||
- [ ] **AC-05**: 知乎反爬适配 — 针对知乎的反爬策略优化
|
||||
- [ ] **AC-06**: B站反爬适配 — 针对 B站的反爬策略优化
|
||||
|
||||
### Deferred
|
||||
|
||||
@@ -133,4 +140,4 @@ python3 kb-workflow/kb_workflow.py process "https://www.bilibili.com/video/BVxxx
|
||||
| 懒加载导入 | AnalyzeProcessor 懒加载 DeepAnalyzer | ✓ Good — 避免依赖问题 |
|
||||
|
||||
---
|
||||
*Last updated: 2026-03-17 after v1.2 milestone started*
|
||||
*Last updated: 2026-03-18 after v1.3 milestone started*
|
||||
|
||||
Reference in New Issue
Block a user