ddtree

DDTree 是一种用于加速大语言模型推理的扩散式推测解码方法，通过构建块级扩散草稿树（Block Diffusion Draft Tree）提升生成效率。其核心实现基于 PyTorch，支持 CUDA 加速，提供端到端的基准测试、结果可视化与论文图表复现功能。项目聚焦于降低自回归解码延迟，在保持生成质量前提下显著提升吞吐量。适用于需要低延迟文本生成的场景，如实时对话系统、API 服务及资源受限环境下的模型部署。