HRM-Text

HRM-Text 是一个基于分层推理架构（HRM）的10亿参数文本生成基础模型，聚焦于高效预训练。其核心特点包括：采用分层循环结构、PrefixLM序列打包、FlashAttention-3优化、PyTorch FSDP2分布式训练，并集成任务完成与潜在空间推理机制；相比主流大模型，预训练所需算力降低130–600倍、数据量减少150–900倍。适用于算力受限场景下的中小规模基础模型从零训练、学术研究验证新型架构，以及需快速迭代预训练流程的工业原型开发。