做 RAG 知识库,切块太大会挤爆检索、太小会切碎语义?填模型窗口和预留开销,这里按目标占比算出每块 token 数、重叠量,再按文档长度估出要切多少块。
| 占比 | 切块 token | 重叠 token | 有效新内容 | 预计块数 |
|---|---|---|---|---|
| — | ||||
发布日期: 2026-09-07
描述: AI切块大小推荐器,解决做 RAG 知识库不知切块多大合适的问题。按模型窗口与预留开销算每块 token、重叠量与预计块数,附占比对照表。
使用方法: 1. 选模型窗口或填自定义值,填预留开销 token;2. 设每块占可用窗口比例与相邻块重叠;3. 填文档总字数与中文折 token 系数;4. 点计算推荐看每块 token 与预计块数;5. 对照表辅助选占比,报告可复制下载。
暂无评论,来发表第一条评论吧!