ninfer

NInfer 是一个专为单块 NVIDIA GeForce RTX 5090 GPU 设计的高性能 C++/CUDA 推理引擎，面向已注册的 Qwen 系列模型（如 Qwen3.6/3.8-27B、Qwen3.6-35B-A3B）提供极致优化的本地推理服务。它支持文本、图像与视频多模态输入，通过 CLI 或兼容 OpenAI/Anthropic 的 HTTP API 调用；采用固定模型加载、预编译权重格式（如 NVFP4、groupwise-int）、细粒度 KV 缓存分层（Device/Host）及 Speculative Decoding（MTP）等技术实现低延迟高吞吐。适用于对延迟和显存效率敏感的单机生产级私有部署场景，如边缘 AI 代理、实时多轮对话服务或受限硬件下的大模型本地化应用。