--- phase: 10-proxy-pool plan: 01 type: execute wave: 1 depends_on: [] files_modified: - kb_workflow/crawler/proxy_pool.py - tests/test_crawler/test_proxy_pool.py - tests/test_crawler/conftest.py autonomous: true requirements: - PROXY-01 - PROXY-02 user_setup: [] must_haves: truths: - "用户可以从 YAML 文件加载多个代理地址" - "用户可以从环境变量加载单个代理(向后兼容)" - "每次请求自动选择下一个可用代理(Round-Robin)" artifacts: - path: "kb_workflow/crawler/proxy_pool.py" provides: "ProxyPool, ProxyEntry, ProxyPoolConfig 类" min_lines: 80 - path: "tests/test_crawler/test_proxy_pool.py" provides: "代理池单元测试" contains: "test_load_from_yaml, test_load_from_env, test_round_robin" key_links: - from: "ProxyPool.from_yaml()" to: "~/.kb_proxies.yaml" via: "PyYAML safe_load" pattern: "yaml\\.safe_load" - from: "ProxyPool.get_next_proxy()" to: "ProxyEntry 列表" via: "索引指针递增" pattern: "_current_index.*\\+.*%.*len" --- 实现代理池核心功能:配置加载和代理轮换。 Purpose: 建立多代理配置基础设施,支持从 YAML 文件或环境变量加载代理列表,实现 Round-Robin 轮换策略。 Output: proxy_pool.py 模块,包含 ProxyPool、ProxyEntry、ProxyPoolConfig 类。 @/home/starmen1265/.claude/get-shit-done/workflows/execute-plan.md @/home/starmen1265/.claude/get-shit-done/templates/summary.md @.planning/PROJECT.md @.planning/ROADMAP.md @.planning/STATE.md @.planning/phases/10-proxy-pool/10-CONTEXT.md @.planning/phases/10-proxy-pool/10-RESEARCH.md From kb_workflow/crawler/config.py: ```python class ProxyConfig(BaseModel): server: str username: Optional[str] = None password: Optional[str] = None def to_playwright_format(self) -> Dict[str, Any]: """Convert to Playwright proxy format.""" ``` From kb_workflow/crawler/config.py: ```python def get_crawler_config() -> CrawlerConfig: """Get crawler configuration singleton.""" ``` From tests/test_crawler/conftest.py: ```python @pytest.fixture def mock_browser(): """Mock PlaywrightBrowser instance.""" ``` Task 0: 创建测试脚手架 tests/test_crawler/test_proxy_pool.py, tests/test_crawler/conftest.py - Test load from YAML: 加载包含多个代理的 YAML 文件,返回 ProxyPool 实例 - Test load from env: 从 HTTPS_PROXY 环境变量加载单代理,返回 ProxyPool 实例 - Test round-robin: 连续调用 get_next_proxy() 返回按顺序轮换的代理 - Test empty pool: 无代理时 get_next_proxy() 返回 None - Test single proxy: 单代理时总是返回该代理 创建 tests/test_crawler/test_proxy_pool.py 测试文件。 测试用例: 1. `test_load_from_yaml`: 使用 tmp_path 创建临时 YAML 文件,验证 ProxyPool.from_yaml() 正确加载代理列表 2. `test_load_from_yaml_not_found`: YAML 文件不存在时返回空 ProxyPool 3. `test_load_from_env`: mock HTTPS_PROXY 环境变量,验证 ProxyPool.from_env_fallback() 正确加载 4. `test_round_robin`: 创建包含 3 个代理的 ProxyPool,连续调用 get_next_proxy() 6 次,验证返回顺序为 A-B-C-A-B-C 5. `test_empty_pool`: 空 ProxyPool 的 get_next_proxy() 返回 None 6. `test_single_proxy`: 单代理 ProxyPool 总是返回该代理 在 conftest.py 中添加 proxy_pool_config fixture(如果需要)。 注意:这些测试应该先失败(RED),因为 ProxyPool 类尚未实现。 pytest tests/test_crawler/test_proxy_pool.py -x -v 2>&1 | grep -E "(FAILED|ERROR|test_)" || echo "Tests not failing as expected for Wave 0" 测试文件存在,包含 6 个测试用例,运行后显示失败(RED 阶段) Task 1: 实现 ProxyEntry + ProxyPool 核心类 kb_workflow/crawler/proxy_pool.py, tests/test_crawler/test_proxy_pool.py - ProxyEntry(url) 创建代理条目,默认 is_available=True, fail_count=0 - ProxyPool(config) 初始化代理池,从 config.proxies 创建 ProxyEntry 列表 - ProxyPool.from_yaml(path) 从 YAML 文件加载代理池配置 - ProxyPool.from_env_fallback() 从环境变量加载单代理 - ProxyPool.get_next_proxy() 返回下一个代理(Round-Robin) - ProxyPool.has_proxies() 返回是否有配置的代理 创建 kb_workflow/crawler/proxy_pool.py 模块。 实现以下类(基于 RESEARCH.md Pattern 1 设计): 1. **ProxyEntry (Pydantic BaseModel)**: - 字段: url: str, fail_count: int = 0, last_fail_time: Optional[datetime] = None, is_available: bool = True - 方法: record_success(), record_failure()(此 task 仅 stub,Task 2 实现完整逻辑) 2. **ProxyPoolConfig (Pydantic BaseModel)**: - 字段: proxies: list[str] = [], cooldown_seconds: int = 300, max_fail_count: int = 3 3. **ProxyPool**: - `__init__(self, config: ProxyPoolConfig)`: 初始化代理池 - `from_yaml(cls, path: Path) -> ProxyPool`: 从 YAML 文件加载 - `from_env_fallback(cls) -> ProxyPool`: 从环境变量加载(向后兼容) - `get_next_proxy(self) -> Optional[ProxyEntry]`: Round-Robin 轮换 - `has_proxies(self) -> bool`: 检查是否有代理 配置文件格式(~/.kb_proxies.yaml): ```yaml proxies: - "http://127.0.0.1:7890" - "http://user:pass@proxy.example.com:8080" cooldown_seconds: 300 max_fail_count: 3 ``` 轮换逻辑:维护 _current_index 指针,每次调用 get_next_proxy() 递增并循环。 运行测试直到全部通过(GREEN 阶段)。 pytest tests/test_crawler/test_proxy_pool.py -x - proxy_pool.py 存在,包含 ProxyEntry, ProxyPoolConfig, ProxyPool 类 - 测试 test_load_from_yaml, test_load_from_env, test_round_robin 通过 - 代码通过 ruff check(如果项目配置了) **Wave 1 验证检查:** 1. `pytest tests/test_crawler/test_proxy_pool.py -x` 全部通过 2. ProxyPool 可从 YAML 文件加载多代理 3. ProxyPool 可从环境变量加载单代理(向后兼容) 4. Round-Robin 轮换正常工作 - [x] 用户可以从 YAML 文件加载多个代理地址(PROXY-01) - [x] 用户可以从环境变量加载单代理(PROXY-01 向后兼容) - [x] 每次请求自动选择下一个可用代理(PROXY-02) - [ ] 代理健康检查(PROXY-03 - Plan 02) - [ ] 代理失败回退(PROXY-04 - Plan 02) After completion, create `.planning/phases/10-proxy-pool/10-01-SUMMARY.md`