chitu

Chitu（赤兔）是一个面向生产环境的高性能大语言模型推理框架，专注于提升推理效率、硬件适配灵活性与系统可用性。它支持多厂商GPU（英伟达、昇腾、沐曦、海光等）及CPU+GPU异构部署，提供FP4/FP8/BF16等量化算子优化，兼容DeepSeek、Qwen、GLM、Kimi等主流开源模型，并具备从单卡到大规模集群的可伸缩部署能力。适用于企业级AI服务上线、私有化一体机部署、国产芯片适配及高并发LLM服务场景。