MiaAI-Lab

DeepSeek-v4-Flash-One-DGX-Spark

MiaAI-Lab

DeepSeek-v4-Flash-One-DGX-Spark - DwarfStar 4 Engine

AI 简介

这是一个为NVIDIA DGX Spark(GB10/SM121)硬件定制的轻量级启动脚本集合,用于部署DeepSeek-V4-Flash模型的原生推理服务。项目基于DwarfStar 4(C/CUDA实现)引擎,提供OpenAI兼容的/v1 API接口,支持端到端本地部署、端口与上下文长度灵活配置,并内置GGUF权重下载、构建缓存与服务启停管理。不依赖vLLM等通用推理框架,专为DGX Spark平台优化CUDA性能与内存带宽利用。适用于需要在单台DGX Spark设备上快速部署低延迟、高吞吐DeepSeek-V4-Flash服务的AI基础设施场景。

Shell
175
Stars
19
Forks
1
Watchers
0
Issues

Star 增长

今日+39
近 7 天+61
近 30 天+63
综合评分87.14
默认分支main