onetoken-oss

K3Flight

onetoken-oss

Run Kimi K3 locally on CPU with ~55GB measured runtime RAM. A single-file Linux inference server powered by cPilot Runtime.

AI 简介

K3 Flight 是一个可在普通 Linux x86-64 CPU 上本地运行 Kimi K3(2.8 万亿参数)大模型的单文件推理服务器。它基于 cPilot Runtime 实现内存感知式权重调度,无需将 929GB 全量模型加载进内存,实测运行时内存占用约 55GB;支持纯 CPU 推理,不依赖 GPU 或加速卡。核心特点是面向边缘与资源受限场景的轻量化部署能力,适用于离线环境、数据敏感型本地 AI 应用及低延迟可控推理服务。

HTML
Other
273
Stars
0
Forks
226
Watchers
0
Issues

Star 增长

今日0
近 7 天0
近 30 天0
综合评分40
默认分支main