lit-llama

Lit-LLaMA 是一个基于nanoGPT实现的LLaMA语言模型，支持闪存注意力、Int8和GPTQ 4位量化、LoRA和LLaMA-Adapter微调以及预训练。该项目采用Python编写，具有简洁的单文件实现，并且在数值上与原始模型等效，同时优化了在消费级硬件或大规模环境下的运行性能。适用于需要开源许可（Apache 2.0）下进行预训练、微调及推理的语言模型应用场景。不过需要注意的是，此仓库已不再积极维护，建议关注其继任者项目LitGPT。