MiniGPT-4

MiniGPT-4 和 MiniGPT-v2 是开源的视觉-语言多模态大模型，旨在通过轻量级架构实现图像理解与自然语言交互的统一建模。核心功能包括图像描述生成、视觉问答、图文推理与多轮对话，技术上采用冻结视觉编码器（ViT）与可训练大语言模型（LLM）对齐的两阶段训练范式，支持高效微调与部署。项目提供完整训练/推理代码、Hugging Face 模型权重及 Gradio 在线演示，适用于学术研究、教育演示及需低成本多模态交互的轻量级应用，如辅助内容生成、跨模态教学工具和垂直领域（医疗、专利等）视觉理解原型开发。