GLM-5.3-Flash-NVFP4-DFlash2-2x-DGX-Spark

该项目提供 GLM-5.3-Flash 大语言模型在双节点 NVIDIA DGX Spark 集群上的高性能、高可靠性推理部署方案。核心功能包括：基于 compressed-tensors 的 NVFP4 量化（W4A4）、fp8 KV 缓存、vLLM 张量并行（TP=2）、262K 超长上下文支持，以及 DFlash2 推测解码加速；关键技术创新在于修复了 ModelOpt NVFP4 量化导致的 token ID 偶发损坏问题，确保工具调用等结构化输出的稳定性。适用于需要低延迟、高吞吐、强确定性的企业级 LLM 服务场景，如智能客服后端、自动化文档处理与多模态 Agent 推理。