yeahhe365

WebDroid-Agent

yeahhe365

Browser-based Android phone agent using WebADB/WebUSB and OpenAI-compatible vision models

AI 简介

WebDroid Agent 是一个基于浏览器的 Android 手机自动化实验工具,通过 WebUSB/WebADB 在前端直连已启用 USB 调试的 Android 设备,实时截取屏幕并结合 OpenAI 兼容的多模态视觉语言模型(VLM)生成 UI 操作指令,再经 ADB 执行点击、滑动、启动应用等动作。其核心特点是纯前端静态部署能力、内置 Docker 本地代理规避 CORS、支持多种动作协议(webdroid_json / open_autoglm_function / mobilerun_xml)及安全可控的执行校验机制。适用于本地验证 VLM 理解手机界面的能力、调试手机 Agent 动作协议与坐标映射、以及快速构建 Android UI 自动化原型,不适用于高风险或长期托管生产场景。

TypeScript
MIT License
106
Stars
21
Forks
71
Watchers
1
Issues

Star 增长

今日0
近 7 天0
近 30 天+5
综合评分44.53
默认分支main