
Qwen3.8-27B-SGLang-DGX-Spark
MiaAI-Lab
Qwen3.8 27B on SGLang for DGX Spark
AI 简介
该项目提供一套开箱即用的Shell脚本,用于在NVIDIA DGX Spark(GB10,aarch64架构)上高效部署和推理通义千问Qwen3.8-27B大语言模型,基于SGLang推理框架。核心功能包括支持NVFP4/W4A4量化、FP8 KV缓存、原生262K上下文(可扩展至1M)、GDN状态池自动配置,以及三种实测优化的推理模式(EAGLE/MTP、DSpark、DFlash2),所有参数均基于DGX Spark硬件实测调优。适用于需要在ARM架构DGX设备上低延迟、高并发运行大模型的科研与工程部署场景。
Shell
MIT License226
Stars
19
Forks
101
Watchers
1
Issues
Star 增长
今日0
近 7 天+109
近 30 天+109
综合评分73.9
默认分支main