ultravox

Ultravox 是一个面向实时语音交互的轻量级多模态大语言模型，直接将原始音频映射到LLM隐空间，无需传统ASR模块即可实现端到端语音理解与文本生成。其核心技术是可插拔的多模态投影器，支持Llama 3、Mistral、Gemma等开源LLM底座，具备低延迟流式响应能力，并预留语音token输出接口以支持未来端到端语音生成。适用于智能语音助手、实时会议转录、语音客服机器人等对时延敏感的语音AI应用场景。