lit-llama

Lit-LLaMA 是一个基于 nanoGPT 的轻量级、开源 LLaMA 模型实现，支持预训练、微调与推理全流程。核心功能包括 Flash Attention 加速、Int8 与 GPTQ 4-bit 量化、LoRA 和 LLaMA-Adapter 微调方法，并完全遵循 Apache 2.0 许可协议。其设计强调简洁性（单文件主体）、数值正确性及硬件兼容性，可在消费级 GPU 或多卡集群上高效运行。适用于学术研究、模型压缩实验、本地化微调及开源大模型教学等对许可合规性与轻量部署有明确要求的场景。