torchtune

torchtune是一个基于PyTorch的后训练库，主要用于简化大型语言模型（LLM）的训练、微调及实验过程。该项目提供了灵活可定制的训练配方，支持多种技术如监督微调(SFT)、知识蒸馏、决策优化(DPO)等，并且实现了包括Llama、Gemma、Qwen在内的流行LLM的简洁PyTorch版本。通过采用最新的PyTorch API，torchtune在内存效率和性能方面表现出色，同时也便于多节点训练以处理更大规模的数据集或模型。尽管项目已于2025年停止活跃维护，但对于希望利用现成工具快速迭代模型的研究者和开发者来说，它仍然是一个有价值的资源。