litgpt

LitGPT 是一个面向大规模语言模型（LLM）训练与部署的轻量级开源框架，提供20余种高性能LLM的从零实现。其核心功能涵盖预训练、微调（支持LoRA/QLoRA/Adapter）和推理全流程，集成FlashAttention、FSDP、混合精度（fp4/8/16/32）等优化技术，支持单卡至千卡集群的分布式训练与部署。项目代码简洁透明、无抽象封装，兼顾易用性与企业级可扩展性，适用于学术研究、模型定制开发及生产环境中的LLM工程化落地。