T2PO

T2PO是一个面向多轮智能体强化学习的探索控制框架，通过不确定性信号在token级和turn级动态调节探索行为，提升训练稳定性与样本效率。其核心特点是融合LLM推理能力与RL优化机制，利用边际不确定性检测与低进展回合重采样技术，解决多轮交互中重复无效动作、探索不足等问题。项目适用于需要长期规划与多步决策的智能体场景，如复杂任务导向的对话系统、网页交互代理（WebShop）、具身AI环境（ALFWorld）及开放域问答代理等。