deepseek-ai

DeepSpec

deepseek-ai

DeepSpec: a full-stack codebase for training and evaluating speculative decoding algorithms

AI 简介

DeepSpec 是一个面向推测解码(speculative decoding)算法研发的端到端开源代码库,支持 draft 模型的数据准备、训练与评估全流程。核心功能包括目标模型响应缓存构建、多种 draft 架构(如 Eagle3、DSpark)实现、多GPU分布式训练及在数学、代码、通用问答等任务上的接受率评测。技术上依赖 Hugging Face 生态,适配主流开源大模型(如 Qwen3、Gemma),强调与目标模型的协同优化。适用于大模型推理加速研究、高效部署方案验证及推测解码算法对比实验等场景。

Python
MIT License
6.5k
Stars
584
Forks
26
Watchers
18
Issues

Star 增长

今日0
近 7 天0
近 30 天0
综合评分64.3
默认分支main