self-operating-computer

这是一个让多模态大模型自主操作计算机的开源框架，通过屏幕截图理解界面并生成鼠标键盘操作指令来完成任务。核心功能包括支持GPT-4o、Gemini Pro Vision、Claude 3等主流多模态模型，兼容Mac系统屏幕录制与辅助功能权限，提供命令行快速启动接口。技术特点涵盖端到端视觉-动作闭环、OCR增强的文本识别能力，以及跨模型抽象适配层。适用于自动化GUI操作、重复性办公任务执行、无障碍交互辅助及AI Agent行为研究等场景。