TaskMatrix

TaskMatrix 是一个支持多模态交互的开源框架，旨在打通大语言模型（如 ChatGPT）与视觉基础模型之间的协作链路，实现图文混合对话、图像理解与编辑。其核心能力包括：基于文本指令执行目标检测（GroundingDINO）、图像分割（Segment Anything）、图像修复/扩展（Stable Diffusion Inpainting）、图像描述与视觉问答，并通过可编程的“模板”机制编排多模型协同流程。项目支持中英文双语交互，无需额外训练即可组合现有模型完成复杂视觉任务。适用于多模态人机交互、AI 图像编辑辅助、视觉推理研究及教育演示等场景。