MetaAI发布实时人工智能语言翻译模型：Seamless
这个模型统一了之前的三个Seamless系列模型，可以实时翻译100多种语言，延迟不到2秒钟，说话者仍在讲话时就开始翻译。
Seamless翻译不仅仅是文字上的转换，还能保持说话者的情感和语气、语调等，使得翻译后的语音更加自然和真实。
主要特点：
1、保持原声情感：SeamlessExpressive模型专注于在语音到语音翻译中保持原始语音的表达性，包括语调、情感和风格。保留说话人的语气和情感。
2、实时翻译：实时翻译功能，大约只有两秒的延迟。与传统的翻译系统相比，它在说话者仍在讲话时就开始翻译，使得对话更加流畅和自然。
3、支持多种语言：支持近100种输入和输出语言的自动语音识别和语音到文本翻译，以及近100种输入语言和36种输出语言的语音到语音翻译。
4、毒性缓解和准确性：在构建AI翻译系统时，Meta特别关注准确性和避免误解。他们探索了如何减少翻译过程中可能出现的错误和不当内容，这对于确保沟通的质量和安全性至关重要。
5、音频水印技术：为了防止滥用和模仿，Meta还开发了一种音频水印技术。这种技术可以在不被人耳察觉的情况下嵌入音频，以确保音频来源的可追溯性。
Seamless模型统一了SeamlessExpressive、SeamlessStreaming和SeamlessM4T v2的功能。旨在实现多语言、表达性和流畅的语音翻译。
这些模型的主要特点和功能：
SeamlessM4T v2：这是一个改进版的大规模多语言和多模态翻译模型。提高了语音生成任务的质量和推理延迟。它基于更新的UnitY2框架，训练了更多低资源语言数据。SeamlessM4T v2为其他模型提供了基础。
SeamlessM4T v2 实现了 100 种语言的最先进的语音到语音和语音到文本结果的翻译。在同一模型中，它在平均自动语音识别方面也击败了 Whisper v3，特别是对于资源较低的语言。
SeamlessM4T v2 与8 月份发布的模型相比提高了 10%，在翻译成英语时比最强的级联模型提高了 17% 以上。对于语音到语音翻译，SeamlessM4T v2 在翻译成英语时比 SeamlessM4T (v1) 提高了 15% 以上，在从英语翻译时提高了 25%。
支持以下任务：
•语音到语音翻译（S2ST）
•语音到文本翻译（S2TT）
•文本到语音翻译（T2ST）
•文本到文本翻译（T2TT）
•自动语音识别（ASR）
SeamlessExpressive：这个模型能够在翻译过程中保持声音的风格和韵律。与以往的表达性语音研究相比，SeamlessExpressive关注了一些未被充分探索的韵律方面，如语速和停顿，同时还保留了说话者的声音风格。
SeamlessStreaming：
这是一个流式翻译模型，支持语音输入和语音/文本输出。它支持以下任务：
•语音到语音翻译（S2ST）
•语音到文本翻译（S2TT）
•自动语音识别（ASR）
这个模型利用高效单调多头注意力（EMMA）机制，能够在不等待完整源语句的情况下生成低延迟的目标翻译。SeamlessStreaming是首个能够实现多种源语言和目标语言的同时语音到语音/文本翻译的模型。
Meta AI还发布了一系列与Seamless Communication项目相关的元数据、数据和数据对齐工具，以支持研究社区。
SeamlessAlign扩展的元数据：包含额外的115,000小时语音和文本对齐数据，加上现有的470,000小时。这个最新版本的SeamlessAlign涵盖了更广泛的语言范围，从之前的37种增加到76种。这个语料库是迄今为止总体积和语言覆盖范围最大的公共语音/语音和语音/文本平行语料库。
详细介绍：https://ai.meta.com/blog/seamless-communication
官方网站：https://ai.meta.com/research/seamless-communication/
论文：https://ai.meta.com/research/publications/seamless-multilingual-expressive-and-streaming-speech-translation/
GitHub：https://github.com/facebookresearch/seamless_communication
在线体验：https://seamless.metademolab.com/expressive?utm_source=metaai&utm_medium=web&utm_campaign=fair10&utm_content=blog
