PKU-YuanGroup

OSP-Next

PKU-YuanGroup

OSP-Next

AI 简介

OSP-Next 是一个高效的高质量视频生成框架,通过稀疏序列并行、HiF8 量化和强化学习等技术提升性能。该项目的核心功能包括Skiparse-2D Attention,这是一种专为图像/视频设计的固定规则稀疏注意力模式,能够接近3D全注意力的质量,并与FlashAttention内核兼容;Sparse Sequence Parallelism (SSP)则是一种与Skiparse-2D Attention协同设计的并行策略,显著减少了跨节点通信量,降低了长视频训练中的通信瓶颈;此外,HiF8量化方案在保持模型精度的同时实现了高达2.27倍的推理加速(适用于NPU)。Mix-GRPO + LoRA机制则是首次尝试将强化学习应用于稀疏视频生成模型中,进一步优化了生成效果。该框架适合需要高效生成高质量视频的应用场景,如内容创作、虚拟现实等。

Python
Apache License 2.0
60
Stars
2
Forks
46
Watchers
0
Issues

Star 增长

今日0
近 7 天+1
近 30 天+14
综合评分43.33
默认分支main