Firefly

Firefly 是一个开源的大语言模型（LLM）训练工具，支持主流开源模型的预训练、监督微调（SFT）和直接偏好优化（DPO）。核心功能包括全参数训练、LoRA 与 QLoRA 高效微调，兼容 Llama3、Qwen2/2.5、Yi-1.5、Gemma、MiniCPM、Mistral、Mixtral 等数十种架构，并通过 Unsloth 实现显存与训练速度优化。项目提供标准化配置、适配各模型 chat template 的数据处理流程，以及开源指令数据集与训练权重。适用于资源受限场景下的中文/多语言大模型定制化训练，如垂直领域模型微调、学术研究与轻量级私有部署。