OpenTalker

video-retalking

OpenTalker

[SIGGRAPH Asia 2022] VideoReTalking: Audio-based Lip Synchronization for Talking Head Video Editing In the Wild

AI 简介

VideoReTalking 是一个基于音频驱动的说话人视频唇形同步编辑系统,用于在真实场景下对已有说话人视频进行高质量唇形重驱动与表情编辑。其核心采用三阶段流程:先将原视频标准化为中性表情,再通过音频驱动实现精准唇形同步,最后利用身份感知的增强网络提升画面真实感;技术上融合了生成式建模与多任务协同优化,支持任意输入音频与原始视频的跨语种/跨情感适配。适用于虚拟主播口型修正、在线教育视频配音、无障碍字幕视频生成等需保持人物身份一致性的音视频后期编辑场景。

Python
Apache License 2.0
7.3k
Stars
1.1k
Forks
72
Watchers
201
Issues

Star 增长

今日0
近 7 天0
近 30 天0
综合评分65.07
默认分支main