shimmy

Shimmy 是一个轻量级、纯 Rust 实现的本地大语言模型推理服务，提供 100% OpenAI API 兼容接口，原生支持 GGUF 格式模型，无需 Python 或 llama.cpp 依赖，单二进制即可跨平台运行（Windows/Linux/macOS）并利用 WebGPU 加速 GPU 推理。其核心特点是零编译依赖、开箱即用、隐私本地化部署，支持 LoRA 微调模型加载与 Hugging Face 模型生态集成。适用于开发者快速搭建私有 AI 服务、嵌入现有工具链（如 LangChain、Cursor、CodeWhisperer），或在资源受限设备上部署离线 LLM 应用。