agent-sh

computer-use-linux

agent-sh

Linux desktop control over MCP — AT-SPI, GNOME Shell, Wayland portals, ydotool

AI 简介

这是一个面向 Linux 桌面的 MCP(Model Control Protocol)服务实现,用于支持 AI 代理对真实桌面环境进行可编程控制。核心功能包括读取 AT-SPI 可访问性树、截取屏幕、基于语义选择器(如 role/name/text)执行点击/滚动/输入等操作,并兼容 Wayland(通过 GNOME Shell DBus、RemoteDesktop Portal、ydotool)和 X11(降级支持)。项目采用 Rust 编写,具备跨桌面环境(GNOME、KDE/KWin、Hyprland、i3、COSMIC)的窗口识别与交互能力,适用于构建本地运行的 AI 桌面自动化代理或集成到 MCP 兼容的 LLM 客户端中。

Rust
MIT License
254
Stars
27
Forks
3
Watchers
1
Issues

Star 增长

今日0
近 7 天0
近 30 天0
综合评分44.34
默认分支main