Hy4-preview

Hy4-preview 是腾讯混元团队研发的新一代稀疏激活大语言模型，采用混合专家（MoE）架构，总参数量770B，单token激活约49B参数。核心技术创新包括78层MoE主干（含77层256专家路由+1共享专家）、Gated DeepSeek Sparse Attention（Gated DSA）与IndexCache跨层索引复用、以及集成10B参数的原生MTP层用于推测解码。模型专为高吞吐、低延迟的生成式AI服务场景设计，适用于大规模在线推理、企业级AI助手及需要平衡性能与成本的大模型部署。