grok-1

Grok-1 是一个开源的大语言模型（LLM），由 xAI 发布，参数量达3140亿，采用8专家混合（MoE）架构，支持8192上下文长度、RoPE位置编码及8位量化。项目提供基于JAX的推理示例代码，包含模型加载、权重验证与文本生成流程，强调正确性优先（未优化MoE计算效率）。适用于具备多卡高端GPU（如A100/H100）的本地大模型研究、推理验证与定制化部署场景，不适用于轻量级或边缘设备。