llm-scaler

LLM Scaler 是面向 Intel® Arc™ Pro B60/B70 GPU 的生成式 AI 推理优化框架，专为高效运行大语言模型（LLM）与多模态生成模型（文本、图像、视频）而设计。它基于 vLLM、ComfyUI、SGLang Diffusion 和 Xinference 等主流框架进行深度适配，支持 FP8/INT4 量化、多 Token 预测（MTP）、LoRA 服务、XPU 图加速及模型流式加载等关键技术，显著提升吞吐量与首字延迟（TTFT）。适用于在 Intel 独立显卡上部署本地化 GenAI 应用的开发者与企业，尤其适合需要兼顾性能、精度与硬件兼容性的边缘或工作站级生成任务。