litgpt

LitGPT 是一个包含20多种高性能大规模语言模型的项目，提供了从头训练、微调到大规模部署的一整套方案。其核心功能包括支持Flash Attention、FSDP等先进技术以减少GPU内存占用并提高计算效率，同时兼容多种硬件配置（如1-1000+ GPU/TPU）。此外，该项目还支持LoRA、QLoRA及Adapter等微调技术，使得用户能够灵活地调整模型以适应特定需求。适合需要快速搭建或优化大模型应用的企业和个人开发者使用，在保证性能的同时也提供了良好的初学者友好性。