MiaAI-Lab

DeepSeek-v4-Flash-DSpark-2x-DGX-Spark

MiaAI-Lab

暂无描述

AI 简介

该项目是一个面向超长上下文AI代理服务的高性能推理部署方案,专为在双节点NVIDIA DGX Spark集群上高效运行DeepSeek-V4-Flash-DSpark模型而设计。核心支持100万token单会话长度、12并发会话、基于nvfp4_ds_mla的低精度KV缓存优化,并集成Keys定制的DSpark投机解码补丁,实现请求级KV持久化与混合prefill/decode调度。适用于需要高并发、确定性输出及超长上下文(如代码生成、复杂Agent任务)的生产级大模型服务场景。

Python
MIT License
112
Stars
9
Forks
6
Watchers
0
Issues

Star 增长

今日0
近 7 天0
近 30 天0
综合评分40
默认分支main