kyegomez

OpenMythos

kyegomez

A theoretical reconstruction of the Claude Mythos architecture, built from first principles using the available research literature.

AI 简介

OpenMythos 是一个基于公开研究文献、从第一性原理出发构建的 Claude Mythos 架构理论复现项目。它实现了可变深度的循环式 Transformer(RDT),包含 Prelude、循环 Recurrent Block(支持最大迭代次数配置)和 Coda 三阶段结构;支持 MLA/GQA 混合注意力机制与稀疏 MoE(含路由专家与共享专家),并提供 LoRA 微调接口。项目采用 PyTorch 实现,适配 Flash Attention 2 加速,主要用于 AI 架构研究、大模型推理机制探索及计算自适应深度建模等学术与实验场景。

Python
MIT License
14.6k
Stars
3.3k
Forks
182
Watchers
18
Issues

Star 增长

今日0
近 7 天0
近 30 天+407
综合评分80
默认分支main