From c24889ffa5f7391736e9be1c64998bb8d5f4907c Mon Sep 17 00:00:00 2001 From: starmen1265 Date: Fri, 13 Feb 2026 09:04:37 +0800 Subject: [PATCH] =?UTF-8?q?docs:=20=E6=9B=B4=E6=96=B0=E5=BE=85=E5=8A=9E?= =?UTF-8?q?=E5=92=8C=E5=86=85=E5=AD=98=E8=AE=B0=E5=BD=95?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - 添加 Whisper 编译任务 - 记录 KB Workflow 优化内容 --- TODO.md | 12 ++++----- memory/2026-02-13.md | 64 +++++++++++++++++++++++++++----------------- 2 files changed, 46 insertions(+), 30 deletions(-) diff --git a/TODO.md b/TODO.md index 28ebc5e..6d6ff7b 100644 --- a/TODO.md +++ b/TODO.md @@ -19,12 +19,12 @@ - 配置命令: `openclaw config set channels.wecom.voice.type "aliyun"` ### 字幕增强方案(待实现) -- [ ] **视觉大模型方案** - 用API识别视频帧中的字幕 - - 可选模型:GPT-4V / Claude Vision / GLM-4V / 通义千问VL - - 流程:视频帧图片 → 视觉大模型 → 识别文字 → 输出字幕 -- [ ] **语音识别(ASR)方案** - 用ASR模型提取音频字幕 - - 可选模型:Whisper / 讯飞ASR / 阿里云ASR - - 流程:视频 → 提取音频 → ASR模型 → 字幕文件(.srt/.lrc) +- [ ] **编译 Whisper.cpp** - 需要 sudo 权限 + - 命令: `sudo apt-get install cmake && cd ~/whisper.cpp && make` + - 替换 FunASR,获得更好的中文识别效果 +- [x] ~~语音识别(ASR)方案~~ - 已完成基础功能 + - FunASR 备用方案已可用 + - Whisper 编译完成后可提升准确率 --- diff --git a/memory/2026-02-13.md b/memory/2026-02-13.md index fa8c504..69543d3 100644 --- a/memory/2026-02-13.md +++ b/memory/2026-02-13.md @@ -1,32 +1,48 @@ # 2026-02-13 -## 项目状态 +## 视频音频转文字方案检查 -### GPG 与 Git 推送 -- ~~GPG 签名~~ → **改用 SSH** -- **SSH 推送**: ✅ 成功! -- 最新提交: `2adc3c1 docs: 更新每日记录` +### 方案组件 +- **kb-whisper**: Whisper.cpp 本地语音识别 +- **kb-funasr**: 阿里 FunASR 本地语音识别 -### Whisper 替代 OCR 方案 -- **决策**: 新增 `kb-whisper` 技能,异步执行 -- **原因**: 语音处理耗时,不阻塞主代理,支持并行讨论 -- **输出格式**: JSON(时间戳) + SRT + TXT -- **状态**: ✅ 安装完成,技能创建完成 +### 发现 +- 两个工具都直接支持视频文件输入 +- 内部自动通过 ffmpeg 处理音频提取和格式转换 +- 无需单独的视频→音频提取步骤 -### 待清理文件 -- `bilibili_BV1Z9nXzUEhv_720p_frames/` -- `whispercpp.zip` +### 待确认事项 +- whisper.cpp 是否已安装(应位于 ~/whisper.cpp) +- CUDA/PyTorch 相关包(torch-2.10.0, torchaudio-2.10.0)已安装完成 -## 今日完成 +--- -| 任务 | 状态 | -|------|------| -| whisper.cpp 安装 | ✅ 完成 | -| kb-whisper 技能创建 | ✅ 完成 | -| SSH 推送 | ✅ 成功 | +## Whisper.cpp 迁移与模型下载 -## 待办 -- [ ] 清理临时文件 -- [ ] 下载中文模型 (需代理) -- [ ] 测试 Whisper 转写效果 -- [ ] kb-workflow 集成 kb-whisper +### 执行操作 +- whisper.cpp 原位于 `~/libs/whisper.cpp` +- 移动到默认位置 `~/whisper.cpp` +- 使用 hf-mirror 下载中文模型 ggml-base.bin(147MB) + +### Whisper 编译受阻 +- 需要 cmake 编译 whisper.cpp +- 执行 `make` 报错:cmake 未安装 +- 需要 sudo 权限安装 cmake(当前环境不支持) + +--- + +## KB Workflow 优化 + +### 修改内容 +- 步骤5:从 OCR(kb-ocr-processor)切换为 Whisper(kb-whisper) +- 移除了 content_subtitles 目录(不再需要) +- 输出格式更新为 `{platform}_{id}.txt` 和 `{platform}_{id}.json` + +### 测试视频 +- 视频:新加坡分区漫游指南(BV1Z9nXzUEhv) +- 由于 Whisper 未编译,临时使用 FunASR 完成语音识别 +- 分析报告已生成并归档 + +### 待办 +- 编译 whisper.cpp:`cd ~/whisper.cpp && make` +- 需要手动执行 sudo apt-get install cmake