Project_Chronos

Project Chronos 是一个面向 SSD 与 DRAM 混合内存架构的 MoE（Mixture of Experts）大模型推理优化框架，旨在消除专家权重加载导致的解码停滞。其核心通过预填充阶段的意图分类器实现专家路由预测，并结合异步 DMA 预取、按专家粒度的 CUDA 事件同步机制，以及混合 MLA+滑动窗口注意力，在 SSD offloading 场景下显著降低 I/O 延迟影响。项目支持完整的六阶段训练流程，专为消费级硬件上部署高吞吐、低延迟的开源 MoE 模型（如 Mixtral、Qwen-MoE）设计，适用于资源受限环境下的流式生成与长上下文推理。