DeepSeek-V3

DeepSeek-V3 是一个开源的大语言模型，具备671B总参数、每token激活37B参数的稀疏MoE架构。其核心技术包括Multi-head Latent Attention（MLA）和DeepSeekMoE，支持高效推理与低成本训练；采用无辅助损失的负载均衡策略及多token预测训练目标。模型基于14.8万亿高质量token预训练，并经过SFT与RLHF优化，在代码、数学、多语言等任务上表现优异。适用于需要高性能、高性价比大模型能力的研究、产品集成与本地部署场景。