Cortex

Cortex 是一个面向个人开发者的开源大语言模型（LLM）全流程训练实践项目，支持从零开始完成预训练、指令微调（SFT）、偏好优化（DPO）到强化学习（PPO）的完整对齐链路。项目采用轻量级 MoE 架构（0.1B 总参，~67M 激活参数），适配国产 MLU370 芯片，并创新引入 LLM as Judge 机制提升 PPO 训练质量；支持思考模式控制（/think）、注意力残差等前沿特性，代码高度解耦、全阶段开源。适用于算力受限环境下的中小规模 LLM 研究、教学实验与垂直领域模型定制开发。