Video2GUI

Video2GUI 是一个面向 GUI 智能体预训练的数据合成框架，旨在从屏幕录制视频中自动提取大规模、高质量的用户交互轨迹（如点击、滚动、输入等），生成结构化动作序列与对应界面状态。其核心技术包括多模态视频理解、OCR 与 UI 元素定位融合、动作语义解析及轨迹标准化，支持端到端生成可用于 LLM 或 RL 训练的 GUI 交互数据。项目适用于桌面/移动端 GUI 自动化、AI 助手行为建模、人机交互研究及通用 GUI 智能体的预训练场景。