kaiwu

Kaiwu 是一个面向本地大语言模型（LLM）的自动调优部署工具，通过硬件探测、模型架构分析与实测基准，动态选择最优 KV 缓存精度、上下文窗口大小及运行参数，提供稳定高速的 OpenAI 兼容 API 服务。其核心特点是免手动配置、支持 MoE/稠密模型、跨平台（Windows/Linux/macOS）、基于 Go 实现轻量高效，并自动缓存最优配置以实现秒级二次启动。适用于个人开发者、边缘设备用户及需在有限显存（如 8GB GPU）上部署大模型的本地 AI 应用场景。