chonkie

Chonkie 是一个轻量级的文本分块（chunking）库，专为构建高效、鲁棒的检索增强生成（RAG）系统而设计。它提供多种分块策略（如语义分块、滑动窗口、基于句子/段落的规则分块），支持56种语言，内置向量化与向量数据库集成能力，并具备低开销、高吞吐和端到端文档处理流水线特性。适用于需要快速部署高质量RAG数据预处理环节的AI应用开发场景，尤其适合对延迟敏感、资源受限或需多语言支持的生产环境。