LLaVA

LLaVA 是一个开源的视觉-语言多模态大模型，通过视觉指令微调技术将大型语言模型与视觉编码器对齐，实现图文理解、视觉问答与多模态对话能力。其核心采用 LLaMA 系列或 Qwen 等开源语言模型作为文本骨干，结合 CLIP 视觉编码器，并在高质量人工标注的视觉指令数据上进行端到端训练；支持图像输入与自然语言交互，具备 GPT-4V 级别多模态理解能力，并已扩展至视频理解场景。适用于科研机构开展多模态基础模型研究、开发者构建智能视觉助手或教育/医疗等垂直领域的图文交互应用。