
seamless_communication
facebookresearch
Foundational Models for State-of-the-Art Speech and Text Translation
AI 简介
Seamless 是一套面向跨语言语音与文本统一翻译的开源基础模型系列,支持约100种语言的端到端语音到语音、语音到文本、文本到语音及文本到文本翻译。其核心包括多模态联合建模的 SeamlessM4T、保留语调与说话风格的 SeamlessExpressive,以及支持实时流式语音识别与翻译的 SeamlessStreaming。技术上融合了多任务预训练、零样本迁移、单向单调注意力(EMMA)和声学-语义对齐编码器(SONAR)。适用于国际会议同传、无障碍沟通、多语种内容本地化等需高保真、低延迟、多模态协同的场景。
Jupyter Notebook
Other11.8k
Stars
1.2k
Forks
152
Watchers
232
Issues
Star 增长
今日0
近 7 天0
近 30 天+3
综合评分69.51
默认分支main