Rising0321

nano-vllm-omni

Rising0321

A lightweight `vLLM-Omni`-style diffusion implementation built around `Wan2.2-TI2V-5B-Diffusers` inspired from nano-vllm

AI 简介

Nano-vLLM-Omni 是一个基于 Wan2.2-TI2V-5B-Diffusers 的轻量级扩散模型实现。该项目的核心功能包括明确的请求调度器生命周期管理、简洁易读的代码库(约1079行Python代码)、分步骤执行机制以及最小化的CPU缓存重用路径,以优化内存使用。技术上,它通过显式的模块级CPU卸载支持在24GB 3090 GPU上的运行。适用于需要高效研究和部署文本到图像生成模型的研究人员或开发者,特别是那些希望深入理解扩散模型内部工作原理的人群。项目不涉及分布式执行器、缓存后端或张量并行扩散等高级特性,专注于提供清晰且易于扩展的基础架构。

Python
50
Stars
5
Forks
45
Watchers
1
Issues

Star 增长

今日0
近 7 天+1
近 30 天+2
综合评分40.03
默认分支main