sightflow-desktop-agent

SightFlow Desktop Agent 是一个基于视觉语言模型（VLM）的桌面端智能体自动化工具，用于实现跨应用的屏幕理解与交互自动化。核心功能包括：通过截图识别聊天窗口UI元素并精确定位控件坐标（VLM视觉定位），结合大模型分析对话内容生成自然回复，并支持微信、企业微信、钉钉等主流IM应用的自动消息收发。技术上采用TypeScript开发，依赖火山方舟API提供VLM能力，支持手动框选与自动识别双模式布局适配，具备Provider插件化架构便于扩展智能体。适用于个人效率提升、客服辅助、RPA轻量级自动化等需GUI层感知与操作的场景。