知乎提取器:从 Playwright 迁移到 DrissionPage 方案
- 使用 DrissionPage 替代 Playwright - 实现 Cookie 管理和反爬绕过 - 支持回答/文章/问题三种内容类型 - 灵活配置(文件/环境变量/配置文件) - 更新文档和配置文件
This commit is contained in:
@@ -6,7 +6,7 @@
|
||||
|
||||
- **多源内容聚合**: 支持 Bilibili、YouTube、知乎等平台
|
||||
- **增强型 Bilibili 提取**: 使用 Playwright 绕过反爬检测,支持字幕和弹幕提取
|
||||
- **知乎内容提取**: 支持知乎回答和文章,完整 Markdown 格式保留,支持代码块、表格等
|
||||
- **知乎内容提取**: 使用 DrissionPage + Cookie,支持回答、文章和问题,完整 Markdown 格式保留
|
||||
- **智能收件箱**: AI 质量评分,自动分类
|
||||
- **长视频分段分析**: 30分钟+ 视频自动分段处理
|
||||
- **无字幕处理**: 智能处理无字幕视频,基于元数据生成内容
|
||||
@@ -200,13 +200,23 @@ obsidian-kb/
|
||||
|
||||
## 知乎提取
|
||||
|
||||
知乎提取器支持回答和文章两种类型,使用 Playwright 绕过反爬虫保护,返回完整 Markdown 格式。
|
||||
支持知乎回答、文章和问题的提取。
|
||||
|
||||
### 支持的内容类型
|
||||
**支持的内容类型:**
|
||||
- ✅ 知乎回答:`https://www.zhihu.com/question/xxx/answer/yyy`
|
||||
- ✅ 知乎文章:`https://zhuanlan.zhihu.com/p/xxx`
|
||||
- ✅ 知乎问题:`https://www.zhihu.com/question/xxx`
|
||||
|
||||
- **知乎回答**: `https://www.zhihu.com/question/xxx/answer/yyy`
|
||||
- **知乎文章**: `https://zhuanlan.zhihu.com/p/xxx`
|
||||
- **知乎问题**: `https://www.zhihu.com/question/xxx`
|
||||
**技术方案:**
|
||||
- 使用 DrissionPage 浏览器自动化工具
|
||||
- 通过 Cookie 验证登录状态
|
||||
- 完整 Markdown 格式输出
|
||||
|
||||
**优势:**
|
||||
- 稳定可靠,绕过反爬虫保护
|
||||
- 支持无头模式,适合服务器环境
|
||||
- Cookie 管理灵活(文件/环境变量/配置文件)
|
||||
- 内存占用低,每次提取独立启动浏览器
|
||||
|
||||
### 输出格式
|
||||
|
||||
@@ -245,36 +255,40 @@ obsidian-kb/
|
||||
```yaml
|
||||
zhihu:
|
||||
enabled: true
|
||||
use_playwright: true # 使用 Playwright(推荐)
|
||||
cookie_file: "" # 可选:Cookie 文件路径
|
||||
timeout: 30 # 超时时间(秒)
|
||||
max_retries: 2 # 最大重试次数
|
||||
use_drissionpage: true # 使用 DrissionPage(推荐)
|
||||
cookie_file: ~/.obsidian-kb/zhihu_cookies.json # Cookie 文件路径
|
||||
cookie_str: "" # 可选:直接在配置中填入 Cookie JSON
|
||||
timeout: 30
|
||||
headless: true
|
||||
```
|
||||
|
||||
### 降级机制
|
||||
**Cookie 获取方式:**
|
||||
1. 在有浏览器的机器上登录知乎
|
||||
2. 打开开发者工具 (F12)
|
||||
3. 进入 Application → Cookies → https://www.zhihu.com
|
||||
4. 导出所有 Cookie 为 JSON 文件
|
||||
5. 上传到服务器指定路径
|
||||
|
||||
当 Playwright 提取失败时,系统会自动降级到 HTTP 方案:
|
||||
|
||||
- Playwright 未安装 → 使用 HTTP 请求
|
||||
- 网络超时 → 重试后降级
|
||||
- 403 错误 → 降级到 HTTP
|
||||
- 运行时错误 → 降级到 HTTP
|
||||
|
||||
### 安装依赖
|
||||
|
||||
知乎提取器需要以下依赖:
|
||||
|
||||
```bash
|
||||
# 使用虚拟环境(推荐)
|
||||
cd obsidian-kb
|
||||
python3 -m venv venv
|
||||
source venv/bin/activate
|
||||
pip install -r requirements.txt
|
||||
|
||||
# 安装 Playwright 浏览器
|
||||
playwright install chromium
|
||||
**Cookie 文件格式:**
|
||||
```json
|
||||
[
|
||||
{
|
||||
"name": "z_c0",
|
||||
"value": "xxx",
|
||||
"domain": ".zhihu.com",
|
||||
"path": "/",
|
||||
"expiry": 1234567890,
|
||||
"secure": true,
|
||||
"httpOnly": false
|
||||
}
|
||||
]
|
||||
```
|
||||
|
||||
**Cookie 加载优先级:**
|
||||
1. 配置文件中的 `cookie_str`(最高优先级)
|
||||
2. 环境变量 `ZHIHU_COOKIE`
|
||||
3. Cookie 文件(最低优先级)
|
||||
|
||||
---
|
||||
|
||||
## 长视频分段策略
|
||||
|
||||
Reference in New Issue
Block a user