needle

Needle 是一个专为极小设备优化的 2600 万参数函数调用大模型，基于 Gemini 3.1 蒸馏而来，采用轻量级 Simple Attention Network 架构。核心特点包括：无 FFN 的高效编码器、8 层解码器、ZCRMSNorm 归一化、GQA+RoPE 注意力，支持本地微调与端侧推理；在 Cactus 运行时可达 6000 tokens/sec 预填充与 1200 tokens/sec 解码速度。适用于手机、智能手表、AR 眼镜等资源受限终端上的单次函数调用任务（如工具选择、API 调用），不侧重多轮对话，强调低延迟、低功耗的个人 AI 场景。