Cortex

Cortex 是一个从零开始构建大模型的项目，涵盖了从预训练到强化学习（RLHF）的完整流程。该项目的核心功能包括国产芯片适配、轻量级MoE架构支持以及LLM作为裁判的PPO训练等，旨在降低个人开发者训练大型语言模型的成本和技术门槛。此外，Cortex还引入了思考控制机制和前沿的Attention Residuals架构特性，增强了模型的功能性和灵活性。适合于对自然语言处理感兴趣的研究人员、开发爱好者或小型团队，在有限资源条件下探索和实验大模型技术的应用场景。