qwen3.8-Flash-DGX

该项目提供在单台NVIDIA DGX Spark（GB10）服务器上高效部署Qwen3.8-Flash-Next大语言模型（约176B参数）的完整运行方案。核心功能包括：通过mmap将占用48GiB的n-gram嵌入表（PLE）从NVMe加载以节省显存，使总权重降至76GiB；修复vLLM在GB10上的prefix caching失效与稀疏注意力top-k非确定性问题；支持500k上下文、MTP推测解码、确定性贪婪解码及OpenAI兼容API。适用于需超长上下文、高吞吐推理与低延迟响应的私有化大模型服务场景，如企业级智能代理、长文档分析与工具调用系统。