ForgeTrain

ForgeTrain 是一个由 AI 智能体闭环自主生成的大语言模型（LLM）预训练框架，全程无需人工代码编辑。其核心功能包括：基于 CuTeDSL 自主实现的高性能 GEMM 与 FlashAttention 内核（单算子 MFU 达 90%）、DP-only 下 44.13% 的 H100 硬件利用率（较 Megatron-LM 提升约 10%），以及开箱即用的 CUDA Graph、Triton 融合与通信-计算重叠支持。框架已通过 MiniCPM4-0.5B 实际预训练验证，产出可部署模型权重。适用于追求极致硬件效率、探索 AI 自主系统研发或需轻量级专用预训练框架的研究与工程场景。