Hy3-preview

Hy3 preview 是由腾讯混元团队开发的一款295B参数的混合专家模型，激活参数为21B。该模型在复杂推理、指令执行、上下文学习、编程和代理任务等方面表现出色，特别是在STEM领域的挑战性基准测试中取得了优异成绩。采用Mixture-of-Experts架构，支持BF16精度计算，具有80层主网络结构及单层MTP层，适用于需要高效处理大量数据并进行复杂推理的应用场景，如科研、教育和技术开发等领域。