vllm-ultimate-dgx-spark

AEON vLLM Ultimate 是一个专为 NVIDIA DGX Spark（Blackwell 架构，sm_121a）优化的高性能大语言模型推理容器镜像。它基于 vLLM 0.24.0 源码深度定制，集成 DFlash 推测解码、NVFP4 权重量化、Triton 实现的 NVFP4/FP8 KV 缓存、FlashInfer 0.6.12 后端及多项运行时修复（如 UMA cudagraph 估算钳位、前缀缓存修正等），支持 Gemma-4-26B-A4B、Qwen3.6-27B 和 Qwen3.6-35B-A3B 等多模型统一部署。适用于 Blackwell 平台上的高并发、低延迟 LLM 推理服务场景，尤其适合需兼顾吞吐与显存效率的生产级 AI 推理集群。