Liger-Kernel

Efficient Triton Kernels for LLM Training

AI 简介

Liger-Kernel 是一个面向大语言模型（LLM）训练优化的高效 Triton 内核库，通过定制化 CUDA 级别算子提升训练速度与显存效率。核心功能包括融合归一化、损失函数（如 DPO、ORPO、CPO）、RoPE 和注意力等关键算子，支持 Llama、Gemma2、Mistral、Phi3 等主流模型架构，并兼容 PyTorch 2.x 与 torch.compile。其技术特点是基于 Triton 实现低开销内核、支持 NVIDIA/AMD GPU、提供高兼容性的封装 API。适用于需要降低显存占用、加速微调（尤其是 RLHF/对齐训练）和部署大规模 LLM 训练任务的研究与工程场景。