vllm-omni

vllm-omni 是一个用于全模态模型高效推理的框架。它支持音频生成、图像生成、视频生成等多种模态，并通过 PyTorch 和 Transformer 技术实现高性能推理。项目具备强大的量化和分布式执行能力，优化了在 CUDA、ROCm、NPU、XPU 等多种硬件平台上的性能。vllm-omni 适用于需要处理多模态数据的应用场景，如多媒体内容生成、智能助手技能开发等，能够显著提升模型服务的速度和成本效益。