Chonkie是轻量级、快速且功能丰富的RAG（Retrieval-Augmented Generation）分块库，为文本处理设计。Chonkie支持基于Token、单词、句子和语义的多种分块方法，易于安装和使用，无冗余，适合各种自然语言处理任务。Chonkie以高效性能和广泛的tokenizer支持，成为开发者在构建RAG应用时的首选库。

Chonkie – RAG文本分块库，基于Token、单词、句子和语义的多种分块方法 第1张
（图片来源网络，侵删）
Chonkie – RAG文本分块库，基于Token、单词、句子和语义的多种分块方法 第2张
（图片来源网络，侵删）