torchtune

torchtune 是 PyTorch 官方推出的轻量级大语言模型（LLM）后训练库，专注于简化微调、对齐与量化等 post-training 任务。核心功能包括支持监督微调（SFT）、DPO、PPO、GRPO、知识蒸馏及量化感知训练，提供开箱即用的 YAML 配置、PyTorch 原生模型实现（如 Llama、Gemma、Qwen 等），并深度集成 PyTorch 最新 API 实现高效内存利用与多节点扩展。适用于研究者和工程师在 GPU 环境下快速实验 LLM 微调策略、算法对比与轻量部署，尤其适合需可复现、模块化训练流程的学术与原型开发场景。