Liger-Kernel

Efficient Triton Kernels for LLM Training

AI 简介

Liger Kernel 是一个用于大规模语言模型（LLM）训练的高效 Triton 内核库。它提供了优化过的 Triton 内核，显著提高了 LLM 训练过程中的性能和内存效率。核心功能包括对多种 LLM 模型（如 LLaMA、Mistral 和 Phi-3 等）的支持，以及针对不同硬件平台（如 NVIDIA 和 AMD GPU）的优化。此外，Liger Kernel 还支持多种微调技术（如 DPO、ORPO 和 CPO），并提供高阶和低阶 API 以满足不同开发者的需求。该项目适合需要高性能和低资源消耗的大规模语言模型训练场景，特别适用于研究机构、企业和个人开发者在有限计算资源下进行高效的 LLM 训练。