InstructSAM

InstructSAM是一个基于指令的多实例图像分割框架，支持通过自然语言指令（如类别名、指代表达或推理式描述）精准定位并分割图像中任意目标实例。其核心技术融合多模态大语言模型（MLLM）与Segment Anything Model（SAM），实现端到端的指令理解与实例级掩码预测，避免多轮调用和冗余计算，并配套构建了Inst2Seg指令-分割配对数据集。适用于需灵活语义交互的细粒度视觉理解场景，如人机协作标注、零样本开放词汇分割、跨模态视觉问答等任务。