MNN

MNN 是阿里巴巴开源的轻量级高性能端侧推理引擎，专为在资源受限设备上高效运行深度学习模型而设计。它支持 Transformer、CNN 等主流架构，集成 Winograd 加速、Vulkan/OpenCL 后端及 ARM 优化，具备低延迟、小体积和跨平台（Android/iOS/Linux/Windows）部署能力。项目已实现在手机端本地运行 Qwen 等大语言模型及多模态应用（如 LLM 聊天、3D 数字人、图像编辑），适用于边缘 AI、终端智能、嵌入式 AI 等对实时性与离线能力要求高的场景。