MuseTalk

MuseTalk 是一个实时高保真音频驱动的唇形同步模型，用于将语音信号精准映射到人脸视频的嘴唇运动上。其核心技术基于潜在空间修复（latent space inpainting）与时空采样策略，支持中英日等多语言输入，在 NVIDIA V100 上实现 30fps+ 实时推理；模型可处理 256×256 面部区域，并兼顾身份一致性与口型同步精度。适用于虚拟人直播、AI 数字人配音、教育/客服类视频本地化等需高质量音画对齐的场景。