ForgeTrain

ForgeTrain 是一个由AI自主循环代理构建的大型语言模型预训练框架。其核心功能包括完全由AI代理自动生成代码，无需人工编辑，并且在NVIDIA H100上实现了44.13%的MFU（比Megatron-LM基准高出约10%）。该项目通过自我诊断循环来实现从读取参考到提交代码的全流程自动化，同时支持GEMM和注意力机制内核的高效实现。适用于需要高性能、高效率的大规模语言模型预训练场景，尤其是在追求极致硬件利用率和生产验证可靠性的情况下。