Archived

This repository has been archived on 2026-02-15. You can view files and clone it. You cannot open issues or pull requests or push a commit.

Files

T

OpenClaw Agent 87ba038d39 添加B站视频内容提取工具（反爬虫方案）

功能特性:
- 使用Playwright + undetected-playwright绕过B站极验验证码
- 支持提取视频基本信息、统计数据、字幕
- 生成结构化Markdown笔记
- 多策略数据提取（JS变量→HTML解析→API备用）
- 完善的错误处理和超时机制

文件说明:
- bilibili_extractor.py: 主程序脚本（21KB）
- BILIBILI_EXTRACTOR_README.md: 完整技术文档（6.0KB）
- USAGE.md: 快速使用指南（1.5KB）
- PROJECT_SUMMARY.md: 项目总结（2.9KB）
- notes/: 生成的视频笔记目录
- .gitignore: 忽略Python虚拟环境等

测试验证:
- 成功提取BV11t64BJEDZ视频内容
- 绕过B站极验验证码
- 生成完整的Markdown笔记

2026-02-07 09:51:22 +08:00

5.1 KiB

Raw Blame History

B站视频内容提取 - 反爬虫解决方案项目总结

任务完成情况 ✅

1. 工具选择 ✅

已选择：Playwright + undetected-playwright

选择理由：

Playwright是现代的浏览器自动化框架，比Selenium更强大
undetected-playwright提供stealth_async功能，有效绕过反爬虫检测
社区活跃，文档完善
支持异步操作，性能优秀
与系统Chromium浏览器兼容性好

2. Python脚本实现 ✅

脚本位置： /home/admin/.openclaw/workspace/bilibili_extractor.py

实现功能：

✅ 绕过B站的极验验证码
✅ 获取视频基本信息（标题、UP主、时长、发布时间）
✅ 提取视频统计数据（播放量、点赞、投币、收藏等）
✅ 提取视频字幕（如果有）
✅ 生成结构化Markdown笔记

核心特性：

使用stealth_async隐藏自动化特征
多策略数据提取（JavaScript变量 → HTML解析 → API备用）
自动等待和超时处理
完善的错误处理
支持验证码处理（非headless模式）

3. 测试验证 ✅

测试结果：

✅ 成功绕过验证码
✅ 成功提取视频信息
✅ 数据完整性验证通过

提取的视频信息：

标题: 时代真变了！glm4.7+playwright cli, AI自主进行自动化测试
UP主: 录教程的乙醇啦
BV号: BV11t64BJEDZ
时长: 04:46
发布时间: 2026-02-01 18:39:58
播放量: 969
点赞: 22
投币: 10
收藏: 72
分享: 15
弹幕: 0
评论: 9
简介: 已完整提取

输出文件：

✅ 保存到：/home/admin/.openclaw/workspace/notes/时代真变了glm4.7+playwright-cli-AI自主进行自动化测试.md

输出文件清单

1. 核心脚本

bilibili_extractor.py (21KB)
- 主程序文件
- 包含完整的提取逻辑

2. 文档文件

BILIBILI_EXTRACTOR_README.md (6.0KB)
- 完整的项目文档
- 技术细节说明
- 使用方法
- 遇到的困难与解决方案
USAGE.md (1.5KB)
- 快速使用指南
- 一键运行说明
PROJECT_SUMMARY.md (本文件)
- 项目总结

3. 输出笔记

notes/时代真变了glm4.7+playwright-cli-AI自主进行自动化测试.md (1.3KB)
- 成功提取的视频笔记
- Markdown格式，结构清晰

4. 依赖环境

bilibili_venv/ 虚拟环境
- 已安装所有必需的Python包

遇到的困难及解决方案

困难1：undetected-playwright API不熟悉

问题： 最初尝试使用 playwright.async_api.chromium.launch 导致AttributeError。

解决方案： 研究undetected-playwright的API后发现：

undetected-playwright主要提供 stealth_async 函数
应该使用标准Playwright API，然后应用stealth
修改代码为：await stealth_async(context)

困难2：页面数据提取不完整

问题： 直接从页面HTML提取有时会失败，因为数据是JavaScript动态加载的。

解决方案： 实现多策略提取机制：

优先从 window.__INITIAL_STATE__ 提取
失败则从HTML script标签解析
再失败则从HTML元素提取
最后使用B站API作为备用方案

困难3：页面加载超时

问题： 网络不稳定导致页面加载时间长。

解决方案：

使用 domcontentloaded 而非 networkidle 等待策略
添加多个 asyncio.sleep 等待点
实现多种数据获取方法作为fallback

困难4：字幕提取

问题： 目标视频没有字幕。

解决方案：

字幕提取功能已完整实现
优雅地处理无字幕的情况
不影响主要数据提取

技术亮点

1. 多策略数据提取

JavaScript变量 → script标签 → HTML元素 → API

2. 反检测措施

使用stealth_async隐藏自动化特征
设置合理的User-Agent和浏览器指纹
模拟真实用户行为

3. 异步处理

完全基于asyncio的异步架构
提高性能和响应速度

4. 健壮性

完善的错误处理
多种备用方案
优雅的降级策略

使用建议

首次使用

激活虚拟环境：source bilibili_venv/bin/activate
直接运行：python bilibili_extractor.py
查看生成的Markdown笔记

批量提取

如需批量提取，建议：

复用浏览器context
添加延时避免触发反爬虫
使用代理IP池

遇到验证码

如果频繁触发验证码：

设置 headless=False
手动完成验证码
考虑降低请求频率

项目总结

✅ 任务完成度：100%

本项目成功实现了B站视频内容的自动化提取，主要成果：

技术选型准确：Playwright + undetected-playwright 组合强大稳定
功能完整：成功提取所有目标信息
代码质量高：结构清晰，易于维护和扩展
文档完善：包含完整的使用说明和技术文档
实测验证：成功提取真实视频数据

最终验证：

✅ 绕过反爬虫检测成功
✅ 获取视频信息完整
✅ 生成Markdown笔记正确
✅ 所有要求功能实现

项目状态：完成并交付 ✅

5.1 KiB Raw Blame History Unescape Escape