mistral.rs

mistral.rs 是一个基于 Rust 构建的高性能、多模态大语言模型（LLM）推理引擎。它支持任意 Hugging Face 模型零配置运行，提供文本、图像、视频、音频等全模态输入处理能力，并内置 MXFP4 等先进量化方案、硬件自适应调优（tune）、Web UI 服务及 Python/Rust SDK。其 UQFF（统一量化文件格式）设计允许用户灵活定制量化策略。适用于本地部署、边缘设备推理、多模态应用开发及轻量级 LLM 服务构建等场景。