ColossalAI

ColossalAI 是一个开源的大模型训练与推理加速框架，旨在降低大规模AI模型的训练和部署成本、提升计算效率并增强可访问性。它支持数据并行、模型并行、流水线并行及异构训练等分布式策略，内置显存优化技术（如ZeRO、Gemini）和自动并行化能力，兼容PyTorch生态并深度集成Hugging Face模型。适用于大语言模型（LLM）、多模态基础模型等超大规模模型的科研训练、产业微调与高效推理场景。