openpi-RLT

openpi-RLT是一个基于openpi的实机器人强化学习系统，通过RL-token指导的动作细化来实现在线学习。该项目在保留了上游openpi的VLA训练和推理堆栈的基础上，增加了RL-token模块、策略服务路径、重放缓存运行时、演员-评论家学习器以及实机器人滚动工具等关键组件，以支持端到端的RLT流程。它特别适用于需要结合实时反馈进行调整的真实物理任务场景中，比如演示中的以太网插头插入实验，展示了如何利用冻结的VLA参考提供服务，并通过在线学习改进策略表现。此项目为开源软件，遵循Apache License 2.0协议。