Hallo-Live

Hallo-Live 是一个面向实时流式场景的音视频联合驱动虚拟人生成框架，支持文本输入驱动同步生成高质量说话视频与语音。其核心技术基于因果双流扩散Transformer（DiT），采用跨模态块因果掩码、音频-视频KV缓存与奖励加权双流DMD优化，在双H200 GPU上实现20.38 FPS生成速度与0.94秒端到端延迟，兼顾唇动同步精度、画面保真度与语音自然度。适用于虚拟主播、实时数字人交互、远程会议AI形象等低延迟音视频协同生成场景。