audio2photoreal

该项目实现从语音输入生成逼真数字人视频的技术，支持端到端合成具备光栅化级真实感的Codec Avatars。核心基于PyTorch构建，融合扩散模型（face/body diffusion）与VQ-VAE、引导Transformer等架构，分别建模面部表情、身体姿态及运动时序一致性；提供预训练模型、完整训练/推理流程及Gradio交互式演示。适用于虚拟会议、远程教育、AI助手等需语音驱动高保真数字人呈现的场景。