[发明专利]一种基于三角架构的蒙汉神经机器翻译方法

说明书

为了改变低资源语言机器翻译发展相对落后的现状，本发明公开了一种基于三角架构的蒙汉神经机器翻译方法，与现有的纯端到端神经机器翻译方法相比，本发明充分考虑了小语种中平行语料库有限的问题特别是蒙汉平行语料库稀缺问题，在平行语料库匮乏的前提下提高蒙汉翻译的质量；其次，利用统一的双向EM算法联合优化蒙古语的翻译模型；最后，将由模型x→z或z→y生成的伪样本与真正的双语样本以1:1的比例混合在同一小批量中来稳定训练过程。

技术领域

本发明属于机器翻译技术领域，特别涉及一种基于三角架构的蒙汉神经机器翻译方法。

背景技术

机器翻译能够利用计算机将一种语言自动翻译成为另外一种语言，是解决语言障碍问题的最有力手段之一。近年来，许多大型搜索企业和服务中心例如谷歌、百度等针对机器翻译都进行了大规模的研究，为获取机器翻译的高质量译文做出了重要贡献，因此大语种之间的翻译已经接近人类翻译水平，数百万人使用在线翻译系统和移动应用实现了跨越语言障碍的交流。在近几年深度学习的浪潮中，机器翻译已成为重中之重，已经成为促进全球交流的重要组成部分。

作为一种数据驱动方法，神经机器翻译的性能高度依赖平行语料库的规模、质量和领域覆盖面。然而，除了中文、英文等资源丰富的语言，世界上绝大多数语言都缺乏大规模、高质量、广覆盖率的平行语料库，蒙古语就是一个典型的代表。因此，如何充分利用现有数据来缓解资源匮乏问题，成为神经机器翻译的一个重要研究方向。

目前，端到端神经机器翻译获得了迅速发展，相对于传统的机器翻译方法在翻译质量上获得显著提升，已经成为商用在线机器翻译系统的核心技术。但是对于平行语料库匮乏的低资源语言的翻译相比大语种之间的翻译仍然存在不小的劣势。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于三角架构的蒙汉神经机器翻译方法，该方法主要针对小语种中平行语料库有限的问题特别是蒙汉平行语料库稀缺问题，将蒙古语(z)作为中间隐变量，引入到英语(x)和汉语(y)之间的翻译中，将英汉之间的翻译分解为经由蒙古语的两个步骤。

为了实现上述目的，本发明采用的技术方案是：

一种基于三角架构的蒙汉神经机器翻译方法，其特征在于，将蒙古语作为中间隐变量，引入到大语种x(如英语、法语、日语等)和汉语之间的翻译中，将大语种x和汉语之间的翻译分解为经由蒙古语的两个步骤，在最大化翻译大语种x和汉语的可能性的目标下，用统一的双向EM算法联合优化蒙古语的翻译模型，提升蒙汉翻译质量，其中任意两个组合之间的翻译仍然使用端到端的编码器-解码器结构。

以z表示蒙古语，以y表示汉语，所述统一的双向EM算法过程如下：

x→y方向

E:优化θ_z|x

其中：θ_z|x表示从大语种x翻译到蒙古语z时使翻译准确率达到设定值之上时的参数值，p(z|x)表示从大语种x翻译到蒙古语z的准确率，是真实分布，p(z|y)表示从汉语y翻译到蒙古语z的准确率，是p(z|x)的拟合分布，KL(.)是KullbackLeibler散度；KL(p(z|x)||p(z|y))表示当用p(z|y)来拟合真实分布p(z|x)时，产生的信息损耗；

M:优化θ_y|z

其中：θ_y|z表示从蒙古语z翻译到汉语y时使翻译准确率达到设定值之上时的参数值，E_z～p(z|x)表示从大语种x翻译到蒙古语z时z的数学期望，p(y|z)表示从蒙古语z翻译到汉语y的准确率，D表示整个训练集；

y→x方向