mistral-inference

这是Mistral AI官方提供的轻量级大语言模型推理库，用于本地高效运行Mistral系列开源模型（如Mistral-7B、Mixtral-8x7B/8x22B、Codestral、Mathstral等）。核心功能包括支持GGUF与原生权重格式、集成xformers优化GPU推理、提供简洁API完成文本生成与对话交互，并内置基础Guardrailing能力。技术特点强调最小依赖、GPU加速适配及开箱即用的Notebook教程。适用于需要在自有GPU环境部署和调试Mistral模型的研究人员、开发者及企业AI工程师。