docs: 更新待办和内存记录

- 添加 Whisper 编译任务 - 记录 KB Workflow 优化内容
2026-02-13 09:04:37 +08:00
parent 29dd236bb9
commit c24889ffa5
2 changed files with 46 additions and 30 deletions
@@ -19,12 +19,12 @@
  - 配置命令: `openclaw config set channels.wecom.voice.type "aliyun"`

 ### 字幕增强方案（待实现）
- [ ] **视觉大模型方案** - 用API识别视频帧中的字幕
-  - 可选模型：GPT-4V / Claude Vision / GLM-4V / 通义千问VL
-  - 流程：视频帧图片 → 视觉大模型 → 识别文字 → 输出字幕
- [ ] **语音识别(ASR)方案** - 用ASR模型提取音频字幕
-  - 可选模型：Whisper / 讯飞ASR / 阿里云ASR
-  - 流程：视频 → 提取音频 → ASR模型 → 字幕文件(.srt/.lrc)
+- [ ] **编译 Whisper.cpp** - 需要 sudo 权限
+  - 命令: `sudo apt-get install cmake && cd ~/whisper.cpp && make`
+  - 替换 FunASR，获得更好的中文识别效果
+- [x] ~~语音识别(ASR)方案~~ - 已完成基础功能
+  - FunASR 备用方案已可用
+  - Whisper 编译完成后可提升准确率

 ---

@@ -1,32 +1,48 @@
 # 2026-02-13

-## 项目状态
+## 视频音频转文字方案检查

-### GPG 与 Git 推送
- ~~GPG 签名~~ → **改用 SSH**
- **SSH 推送**: ✅ 成功！
- 最新提交: `2adc3c1 docs: 更新每日记录`
+### 方案组件
+- **kb-whisper**: Whisper.cpp 本地语音识别
+- **kb-funasr**: 阿里 FunASR 本地语音识别

-### Whisper 替代 OCR 方案
- **决策**: 新增 `kb-whisper` 技能，异步执行
- **原因**: 语音处理耗时，不阻塞主代理，支持并行讨论
- **输出格式**: JSON(时间戳) + SRT + TXT
- **状态**: ✅ 安装完成，技能创建完成
+### 发现
+- 两个工具都直接支持视频文件输入
+- 内部自动通过 ffmpeg 处理音频提取和格式转换
+- 无需单独的视频→音频提取步骤

-### 待清理文件
- `bilibili_BV1Z9nXzUEhv_720p_frames/`
- `whispercpp.zip`
+### 待确认事项
+- whisper.cpp 是否已安装（应位于 ~/whisper.cpp）
+- CUDA/PyTorch 相关包（torch-2.10.0, torchaudio-2.10.0）已安装完成

-## 今日完成
+---

-| 任务 | 状态 |
-|------|------|
-| whisper.cpp 安装 | ✅ 完成 |
-| kb-whisper 技能创建 | ✅ 完成 |
-| SSH 推送 | ✅ 成功 |
+## Whisper.cpp 迁移与模型下载

-## 待办
- [ ] 清理临时文件
- [ ] 下载中文模型 (需代理)
- [ ] 测试 Whisper 转写效果
- [ ] kb-workflow 集成 kb-whisper
+### 执行操作
+- whisper.cpp 原位于 `~/libs/whisper.cpp`
+- 移动到默认位置 `~/whisper.cpp`
+- 使用 hf-mirror 下载中文模型 ggml-base.bin（147MB）
+
+### Whisper 编译受阻
+- 需要 cmake 编译 whisper.cpp
+- 执行 `make` 报错：cmake 未安装
+- 需要 sudo 权限安装 cmake（当前环境不支持）
+
+---
+
+## KB Workflow 优化
+
+### 修改内容
+- 步骤5：从 OCR（kb-ocr-processor）切换为 Whisper（kb-whisper）
+- 移除了 content_subtitles 目录（不再需要）
+- 输出格式更新为 `{platform}_{id}.txt` 和 `{platform}_{id}.json`
+
+### 测试视频
+- 视频：新加坡分区漫游指南（BV1Z9nXzUEhv）
+- 由于 Whisper 未编译，临时使用 FunASR 完成语音识别
+- 分析报告已生成并归档
+
+### 待办
+- 编译 whisper.cpp：`cd ~/whisper.cpp && make`
+- 需要手动执行 sudo apt-get install cmake