Firefly

Firefly是一个开源的大模型训练工具，支持多种主流大模型的预训练、指令微调和DPO。该项目的核心功能包括全量参数训练、LoRA及QLoRA高效训练方式，特别适合资源有限情况下的指令微调任务。技术特点上，Firefly通过配置文件简化了模型训练流程，使得即使是初学者也能快速上手上手，并且支持使用Unsloth加速训练过程以节省显存。此外，项目还提供了丰富的开源指令微调数据集以及一系列经过验证的高效训练模型权重。适用于需要对现有大模型进行定制化训练或优化的研究人员与开发者。