“语音到语音”即时翻译AI模型推出

01-16 10:05  

科技日报北京1月15日电 (记者张梦然)《自然》杂志15日介绍了一款人工智能(AI)模型,其宛如科幻小说里的“巴别鱼”,能直接“语音到语音”翻译多达101种语言的语音和文本。由Meta推出的这一模型名为SEAMLESSM4T,其填补了语言覆盖方面的空白,且性能优于现有其他系统。该成果为快速通用翻译铺平道路,其资源公开可用(用于非商业用途),以协助进一步研究包容性语音翻译技术。

科幻小说读者可能很熟悉《银河系漫游指南》里的“巴别鱼”,这种小鱼能进入耳朵,以口译形式即时将一种语言翻译成另一种语言。这种工具对于促成全球互联环境下的交流非常有用,但大多数现有的机器学习翻译系统都是文本导向的,或需要好几步转换——语音识别、翻译成文本、再将文本转换成语音。此外,现有语音到语音模型的语言覆盖范围也远低于文本到文本模型,并且倾向于从源语言翻译成英语,而非从英语到另一种语言。

为了突破这些限制,Meta的“无缝交流团队”开发了一款单一模型,支持多达101种语言之间的多种翻译模式。SEAMLESSM4T可支持语音到语音(识别101种语言并翻译为36种语言)、语音到文本(101种语言译为96种)、文本到语音(96种语言译为36种)、文本到文本(96种语言)的翻译,以及自动语音识别(96种语言)。在语音到语音的翻译中,SEAMLESSM4T的文本翻译比现有系统准确度要高23%。这一AI模型可过滤背景噪声并适应说话者的差异。

研究团队总结称,虽然还需要进一步优化,但SEAMLESSM4T标志着在跨越语言障碍、促进交流方面的重要进步。

来源:人民网

https://img.cjyun.org.cn/a/10132/202309/c927c79cdb2f6268676decc0d20aad16.jpeg
{"appId":"wxc3dc87b9605c07ba","nonceStr":"bk5vHyTEVCSQxctw","timestamp":1758144814,"signature":"65639ce03483744d88bc11185e4d4dd9017abf48","link":"https:\/\/m.hbtctv.cn\/p\/91414.html","desc":"\u66f4\u591a\u5185\u5bb9\u8be6\u89c1\u4e91\u4e0a\u901a\u57ce\u5ba2\u6237\u7aef","title":"\u201c\u8bed\u97f3\u5230\u8bed\u97f3\u201d\u5373\u65f6\u7ffb\u8bd1AI\u6a21\u578b\u63a8\u51fa","imgUrl":"https:\/\/img.cjyun.org.cn\/a\/thumb\/10132\/201701\/94099c0255416137eefb651ffce1f97b.png!w300_h300.png","debug":""}

相关阅读