
nano-vllm-omni
Rising0321
A lightweight `vLLM-Omni`-style diffusion implementation built around `Wan2.2-TI2V-5B-Diffusers` inspired from nano-vllm
AI 简介
这是一个轻量级的扩散模型推理服务框架,专为图像生成类大模型(如Wan2.2-TI2V-5B)设计,借鉴vLLM-Omni架构思想实现模块化服务流程。核心功能包括显式的请求调度-执行-流水线分层结构、步进式去噪(prepare_encode → denoise_step → step_scheduler → post_decode)、CPU端提示嵌入缓存复用及模块级CPU卸载以适配单卡24GB显存场景。代码精简(约1079行Python),聚焦可读性与教学研究,不支持分布式训练或多模型编排,适用于本地部署、算法学习和中小规模图像生成服务验证。
Python
53
Stars
5
Forks
45
Watchers
1
Issues
Star 增长
今日0
近 7 天0
近 30 天0
综合评分2.33
默认分支main