UI-TARS

UI-TARS 是一个面向图形用户界面（GUI）自动交互的开源多模态智能体框架，基于视觉-语言模型构建，支持跨桌面、浏览器和游戏环境的端到端操作。其核心能力包括屏幕理解、坐标定位、动作规划与强化学习驱动的推理决策，可直接解析截图并生成点击、输入等底层操作指令。项目提供本地部署版（UI-TARS-desktop）和浏览器自动化扩展（Midscene），适用于自动化测试、无障碍辅助、RPA流程编排及AI Agent系统集成等需要真实GUI环境交互的场景。