FareedKhan-dev

kimi-k3-in-c

FareedKhan-dev

A 2.78-trillion-parameter Kimi K3 running inference on a single CPU in 8.24 GB of RAM. Portable C99: no BLAS, no framework, no GPU.

AI 简介

这是一个在单颗CPU上运行2.78万亿参数Kimi K3大语言模型的纯C99推理引擎,不依赖BLAS、深度学习框架或GPU。其核心技术包括零依赖系统编程、MXFP4量化、线性注意力、混合专家(MoE)流式加载与SIMD加速(AVX2),实现仅8.24 GB内存占用完成全模型推理。适用于资源受限场景,如消费级笔记本、嵌入式边缘设备或教学演示等对可移植性、内存效率和硬件兼容性要求极高的环境。

C
Apache License 2.0
3k
Stars
499
Forks
30
Watchers
3
Issues

Star 增长

今日0
近 7 天0
近 30 天0
综合评分60.1
默认分支main