b7b40b1ece
- 添加 load_srt() 支持 SRT 字幕格式 - 时间格式简化为 HH:MM:SS - 超过3000字自动分块分析 - _merge_summaries 改用纯文本而非JSON - 添加提取函数解析AI响应
2.1 KiB
2.1 KiB
2026-02-13 语音识别工作记录
目标
整合说话者分离(speaker diarization)到 kb-whisper 工作流,替换 OCR 为 Whisper 视频转文字
glm-4.7 AI 分析返回问题(2026-02-13 新增)
发现
- deep_analyzer 使用
.json文件传给 AI - 实际传给 AI 的是
text字段的前 3000 字 - json 文件结构:
├── text: "為什麼我要說美國就變了..." (~4500字) └── segments: 168段 (带时间戳)
三种字幕格式对比
| 格式 | 大小 | 特点 |
|---|---|---|
| .json | 55KB | 完整元数据 + segments |
| .srt | 23KB | 带时间戳的字幕格式 |
| .txt | 9KB | 纯文本,无时间戳 |
问题分析
- 截断问题:只取前 3000 字传给 AI,可能不够全面
- 未利用时间轴:segments 有 168 段时间信息未使用
- 格式问题:传给 AI 是纯文本,没有分段结构
待用户确认改进方案
- A. 用
.txt(9KB) 更简洁的格式? - B. 用
.srt(23KB) 带时间戳的格式? - C. 改进 json 解析,把 segments 整理成更易读的格式?
- D. 其他方案?
Passwordless Sudo 配置成功
sudo visudo -f /etc/sudoers.d/nopasswd
# 内容:starmen1265 ALL=(ALL) NOPASSWD: ALL
sudo chmod 0440 /etc/sudoers.d/nopasswd
sudo visudo -c # 验证:parsed OK
降级操作(解决兼容性问题)
| 库 | 从 | 到 | 原因 |
|---|---|---|---|
| torch | 2.10.0 | 2.8.0 | speechbrain 需要旧 API |
| torchaudio | 2.10.0 | 2.8.0 | speechbrain 需要 list_audio_backends() |
| NumPy | 2.x | 1.26.4 | pyannote 3.1.1 需要 |
| huggingface_hub | 1.4.1 | 0.19.4 | pyannote 3.1.1 需要 use_auth_token |
| pyannote.audio | 4.0.4 | 3.1.1 | 4.x 与 torch 2.10 兼容性问题 |
用户指令
- 只允许修改
speaker_diarization.py中的 segmentation 配置 - 停止所有其他修改
- 暂停说话者分离工作
下一步
- 使用已有的 kb-whisper 方案(Whisper.cpp)
- 暂停说话者分离(speaker diarization)
- 等待后续指令
当前环境
- whisper.cpp: ~/whisper.cpp
- whisper 模型: ggml-base.bin
- kb-whisper 脚本: skills/kb-whisper/whisper.py