ROLL

ROLL 是一个面向大语言模型（LLM）的高效、易用的强化学习规模化训练库。它聚焦于提升 LLM 在人类偏好对齐（RLHF）、复杂推理与多轮智能体交互等任务中的性能，采用基于 Ray 的多角色分布式架构，支持异构资源调度，并深度集成 Megatron-Core、SGLang 与 vLLM 等主流高性能训练/推理框架。适用于需要在大规模 GPU 集群上开展 RLHF、RLVR 或 agentic RL 训练的研究团队与工程团队。