mlx-vlm

MLX-VLM 是一个面向 Apple Silicon Mac 的视觉语言模型（VLM）推理与微调工具包，基于苹果生态优化的 MLX 框架构建。支持 LLaVA、Phi-4、Moondream3、Gemma 4、Molmo、Florence-2 等主流 VLM 及 OCR 专用模型，提供 CLI、Gradio 聊天界面、FastAPI 服务端等多接口；具备连续批处理、自动前缀缓存、KV 缓存量化、多图输入、视觉特征缓存及 TurboQuant 等高效推理优化技术。适用于本地部署、隐私敏感场景下的多模态理解、文档解析、图像问答与轻量级 AI 应用开发。