This repository has been archived on 2026-08-07. You can view files and clone it. You cannot open issues or pull requests or push a commit.
starmen1265
faff7903a4
feat(14-04): 实现长文本分块处理方法
- 添加 _split_into_chunks() 方法，按句子边界分割长文本（5000字符阈值）
- 添加 _merge_segment_results() 方法，合并分块结果并修正索引
- 添加 _segment_single_chunk() 方法，处理单个文本块
- 添加 _segment_multiple_chunks() 方法，处理多个文本块（分块）
- 添加 _fallback_chunk() 方法，用于单个分块失败时的降级处理
- 修改 segment() 方法，添加分块判断逻辑（len(content) > 5000）
遵守用户决策：
- 分块阈值: 5000 字符
- 按句子边界分割（。！？\n）
- 直接拼接各分块结果
- start_index/end_index 相对于原文
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
2026-03-23 22:40:31 +08:00
..
2026-03-17 18:00:37 +08:00
2026-03-18 23:53:22 +08:00
2026-03-21 22:47:15 +08:00
2026-03-17 00:33:23 +08:00
2026-03-22 00:32:14 +08:00
2026-03-23 22:40:31 +08:00
2026-03-18 10:35:33 +08:00
2026-03-18 10:35:33 +08:00
2026-03-16 23:59:23 +08:00
2026-03-20 00:44:41 +08:00
2026-03-19 23:44:05 +08:00
2026-03-16 23:59:23 +08:00
2026-03-17 23:50:42 +08:00