kimi-k3-mlx

这是一个将月之暗面Kimi-K3（2.78万亿参数多模态MoE模型）移植至Apple Silicon平台MLX框架的开源实现。核心功能包括流式权重转换器（避免全量加载5.6TB bf16模型）、REAP专家剪枝支持、按语言粒度的专家重叠分析；技术特点涵盖KDA注意力、AttnRes残差堆栈机制、SiTU-GLU激活函数、MXFP4稀疏专家量化及Stable LatentMoE结构。适用于在多GPU Mac集群或高性能Mac Pro环境下开展多模态大模型研究、MoE架构实验与低精度推理优化，不适用于单机部署。