Google如何使用新兴的AI技术来提高语言翻译质量

谷歌表示，在提高没有大量书面文字的语言的翻译质量方面，已经取得了进展。在即将发表的博客文章中，该公司详细介绍了新的创新技术，这些创新技术增强了Google翻译支持的108种语言(尤其是数据贫乏的语言约鲁巴语和马拉雅拉姆语)的用户体验，该服务每天平均翻译1500亿个单词。

自Google Translate公开亮相以来的13年中，诸如神经机器翻译，基于重写的范例和设备上处理之类的技术使该平台的翻译准确性有了可量化的飞跃。但是直到最近，甚至Translate的最新算法也落后于人类的表现。Google以外的努力说明了问题的严重性-Masakhane项目旨在使非洲大陆上的数千种语言能够自动翻译，但它还没有超出数据收集和转录阶段。和共同的声音自2017年6月推出以来，Mozilla为建立转录语音数据的开源集合所做的努力仅审查了40种声音。

谷歌表示，其翻译突破并不是由单一技术推动的，而是针对低资源语言，高资源语言，总体质量，延迟和总体推理速度的技术组合。在2019年5月至2020年5月之间，通过人工评估和BLEU(基于系统翻译与人工参考翻译之间相似性的指标)进行衡量，Translate在所有语言中平均提高了5分或更多，在50种最低水平的翻译中平均提高了7个或更多资源语言。此外，谷歌表示，“翻译”已变得对机器翻译幻觉更为强大，这种现象是，当泰卢固语字符“? ??????

混合模型和数据挖掘器

这些技术中的第一个是翻译模型体系结构—一种混合体系结构，包含在Lingvo中实现的Transformer编码器和递归神经网络(RNN)解码器，该序列结构是TensorFlow框架。

在机器翻译中，编码器通常将单词和短语编码为内部表示，然后解码器将其用于生成所需语言的文本。谷歌关联研究人员于2017年首次提出的基于变压器的模型在此方面比RNN更为有效，但谷歌表示其工作表明，大多数质量提升仅来自于变压器的一个组成部分：编码器。那可能是因为虽然RNN和Transformer都被设计为处理有序的数据序列，但是Transformers并不需要按顺序处理序列。换句话说，如果所讨论的数据是自然语言，则Transformer无需在处理结尾之前处理句子的开头。

尽管如此，在推理时，RNN解码器仍比“变形金刚”中的解码器“快得多”。意识到这一点，Google Translate团队在将RNN解码器与Transformer编码器结合之前对RNN解码器进行了优化，以创建低延迟，质量更高，比四年前基于RNN的神经机器翻译模型更稳定的混合模型。更换。

除了新颖的混合模型体系结构之外，Google还从数以百万计的示例翻译中(用于文章，书籍，文档和Web搜索结果)编译了用于编译训练集的数十年的爬虫。新的矿工-基于嵌入的14种大语言对，而不是基于字典的-意味着它使用实数矢量表示单词和短语-更加注重精度(相关数据在检索到的数据中所占的比例)回忆(实际检索到的相关数据总量的一部分)。谷歌表示，在生产中，这使矿工提取的句子数量平均增加了29%。

嘈杂的数据和转移学习

另一个翻译性能提升来自更好地处理训练数据中噪声的建模方法。观察到嘈杂的数据(含有大量无法正确理解或解释的信息的数据)会损害语言丰富的语言的翻译，因此Google翻译团队部署了一个系统，该系统使用经过训练的模型为示例分配分数对嘈杂的数据进行调优，并对“干净的”数据进行调优。实际上，这些模型开始对所有数据进行训练，然后逐步对较小和较干净的子集进行训练，这是AI研究社区中称为课程学习的方法。

在等式的资源匮乏的语言方面，Google在Translate中实施了反向翻译方案，以增强并行训练数据，该语言中的每个句子都与其翻译配对。(机器翻译传统上依赖于源语言和目标语言中成对句子的语料统计。)在这种方案中，训练数据会自动与合成并行数据对齐，从而目标文本是自然语言，但会生成源通过神经翻译模型。结果是Translate利用了更丰富的单语文本数据来训练模型，Google表示这对于提高流利性特别有用。

Translate现在还利用了M4建模，其中一个大型模型M4在多种语言和英语之间进行翻译。(M4于去年在一篇论文中首次提出，证明在对来自100多种语言的250亿对句子进行训练后，它提高了30多种低资源语言的翻译质量。)M4建模使Translate中的迁移学习成为可能，从而收集了见解通过对包括法语，德语和西班牙语(有数十亿个并行示例)的高资源语言的培训，可以应用于翻译诸如约鲁巴语，信德语和夏威夷语(仅有数万个示例)的低资源语言。

展望未来

根据Google的说法，自2010年以来，翻译每年至少提高了1个BLEU点，但是自动机器翻译绝不是解决的问题。Google承认，即使是其增强的模型也容易出错，包括将一种语言的不同方言混合在一起，产生过多的直译，以及在特定题材和非正式或口头语言上的表现不佳。

微软试图通过各种方式解决这一问题，包括通过其Google Translate社区这一游戏化计划，该计划旨在招募志愿者，通过翻译单词和短语或检查翻译是否正确来帮助提高低资源语言的性能。仅在2月，该程序与新兴的机器学习技术相结合，就增加了翻译，共有7500万人使用了五种语言：Kinyarwanda，Odia(奥里亚语)，Tatar，Turkmen和Uyghur(维吾尔语)。

追求真正通用翻译的并不只是Google。在2018年8月，Facebook揭示了一种AI模型，该模型结合了逐词翻译，语言模型和反向翻译的组合，从而在语言配对方面表现优于系统。最近，麻省理工学院计算机科学与人工智能实验室的研究人员提出了一种无监督的模型，即可以从未明确标记或分类的测试数据中学习的模型，该模型可以在两种语言的文本之间进行翻译，而无需在两种语言之间直接进行翻译。

谷歌在一份声明中以外交方式表示，它对“学术界和工业界”的机器翻译研究表示“感谢”，其中一些通报了自己的工作。该公司表示：“我们通过综合和扩展各种最新进展来实现[Google Translate最近的改进]。”“通过此更新，我们为提供相对一致的自动翻译而感到自豪，即使是在支持的108种语言中资源最少的情况下也是如此。”