FlowBlock

FlowBlock 是一个无需训练的波前并行解码框架，专为块式扩散语言模型（如 LLaDA-2.x）设计，突破其固有的串行块解码瓶颈。它利用模型固有的 token-to-token 自校正能力，通过门控波前解码（GWD）和异构波前打包（HWP）机制，在保持精确 KV 缓存复用的前提下实现块级并行调度与动态批处理。项目显著提升吞吐量（最高达 4.01×）并降低延迟，同时维持或提升数学与代码任务准确率。适用于部署高吞吐、低延迟的扩散型大语言模型服务，尤其适合批量推理场景。