[发明专利]一种具有误差修正功能的蒙汉神经机器翻译方法

说明书

本发明一种具有误差修正功能的蒙汉神经机器翻译方法，基于编码器‑解码器的NMT模型，并在解码器中引入内容流‑查询流的双流自注意力机制，其中：所述内容流用于构建先前标记的表示，以及，用于校正先前预测输出；所述查询流使用位置嵌入作为决定要预测的下一个输出的位置的输入，以及，用于根据修正后的上下文以正常的从左向右顺序同时预测下一个输出。本发明将XLNET中的双流自注意力机制引入到NMT解码器中，并且在内容流中加入误差纠正，从而纠正翻译过程中的错误，提高翻译质量。

技术领域

本发明属于机器学习技术领域，特别涉及一种具有误差修正功能的蒙汉神经机器翻译方法。

背景技术

神经机器翻译(NMT)自首次被提及以来，已在机器翻译领域取得了巨大成就，它全面优于统计机器翻译(SMT)，快速成为在线翻译系统的主流标配。

市面上的神经机器翻译系统越来越多，国外的谷歌和国内的腾讯、阿里巴巴、百度、搜狗、科大讯飞等针对机器翻译都进行了大量的研究，取得了显著的研究成果，稀少资源语言和少数民族语言的机器翻译任务也越来越受到重视。

蒙古语属黏着语，主要使用者在蒙古国、中国蒙古族聚居区和俄罗斯联邦西伯利亚联邦管区。蒙古语有传统蒙古文和西里尔蒙古文，我们所研究的蒙汉翻译，特指的是传统蒙古文到汉语的翻译。蒙汉机器翻译研究不仅可以促进民族文化传播和多民族人民交流，而且有利于稀少资源和少数民族语言机器翻译的研究。然而，由于人才匮乏，资源短缺等原因，蒙汉机器翻译的性能质量还是比较落后。因此，如何提高汉蒙机器翻译的性能是我们研究的难点与创新点。

随着深度学习的发展，神经机器翻译(NMT)取得了长足进步。目前流行的NMT模型采用了一种编码-注意-解码框架，解码器根据先前的输出以自回归的方式生成目标输出。

使用流程:首先，编码器将源语言文本构建的词向量转变为有相关语义特征信息的低维稠密的中间向量表示，然后解码器将中间向量进行解码预测，转换为目标语言。

如图1所示编码器-解码器框架，是给定一个句子对{x，y}∈(X，Y)，NMT模型的目标是使对数似然估计P(y|x；θ)最大化。

所述翻译解码模型建模的公式为：

其中，x表示当前输入端的源语言；

y为要翻译的目标语言；

n是目标序列y的标记数。

y_t：表示第t位置的词，y_t：表示t位置之前的词。

Θ：表示需要优化的参数；

P代表源语言x通过模型生成目标语言y的概率。

尽管NMT模型很受欢迎，但它存在训练和推理之间的差异以及由此产生的误差传播。在推理过程中，解码器将先前生成的输出作为输入来预测下一个输出，这与训练中使用前一个语料库中的真实词对作为下一个预测的输入不同。因此，前文预测的句词，可能有错误，这将导致错误传播并影响对下一个输出的预测，进而将错误传播到整个预测序列。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种具有误差修正功能的蒙汉神经机器翻译方法，首先将XLNET中的双流自注意力机制引入到NMT解码器中，并且在内容流中加入误差纠正，以此来纠正翻译过程中的错误，提高翻译质量。

为了实现上述目的，本发明采用的技术方案是：

一种具有误差修正功能的蒙汉神经机器翻译方法，基于编码器-解码器的NMT模型，并在解码器中引入内容流-查询流的双流自注意力机制，其中：

所述内容流用于构建先前标记的表示，以及，用于校正先前预测输出；