StoryDiffusion

StoryDiffusion 是一个面向长序列内容生成的扩散模型框架，专注于实现跨多帧图像与视频的角色一致性与运动连贯性。其核心包含两部分：基于一致自注意力机制的多提示图像生成（支持SD1.5/SDXL模型，需至少3个文本提示），以及在压缩语义空间中预测帧间运动的轻量级运动预测器，支持两阶段长视频合成。项目适用于漫画分镜生成、角色驱动的故事可视化、AIGC短视频创作等需要强时序一致性的生成任务，已在NeurIPS 2024作为Spotlight论文发表。