Domino

Domino 是一种面向大语言模型推理加速的推测解码（Speculative Decoding）方法，通过解耦因果建模与自回归草稿生成，在保持草稿阶段块并行化的同时，引入轻量级因果校正头提升草稿令牌接受率。其核心特点是支持训练可微分的草稿模型、兼容主流开源LLM（如Qwen3系列），并已在SGLang等推理框架中集成验证。适用于需降低大模型生成延迟、提升吞吐量的在线服务场景，如API后端、实时对话系统及高并发文本生成任务。