chonkie

一个轻量级的于RAG文本分块工具：chonkie，它在Token分块的处理速度上比其他快33倍

提供了多种分块方式，基于Token的分块、基于词、句子、语义以及语义双通道的分块

默认安装只需21MB（其他同类产品需要80-171MB）

支持所有主流分词器

github：RAGchonkie