chitu

赤兔「Chitu」是一个高性能的大语言模型推理框架，专注于效率、灵活性和可用性。其核心功能包括多元算力适配（支持NVIDIA GPU及国产芯片如昇腾、沐曦等），全场景可伸缩部署（从纯CPU到大规模集群），以及长期稳定运行能力。该框架特别适合需要高效处理大模型推理的企业级应用，无论是小规模试验还是大规模生产部署都能满足需求。项目采用Python编写，并遵循Apache License 2.0开源许可协议。