[发明专利]融合成分注意力的非自回归机器翻译方法

说明书

本发明涉及融合成分注意力的非自回归机器翻译方法，属于自然语言处理技术领域。本发明利用非自回归迭代生成模型中通过译文生成译文的方式，利用成分注意力无监督获取已生成译文的成分句法知识。通过反复的迭代过程，获取更精确的成分句法知识，从而指导生成准确的译文。本发明提出的融合成分注意力的方法，有利于迭代非自回归模型获取目标语言的成分句法知识。解决了非自回归机器翻译中目标语言上下文信息不足的问题，有效的解决了翻译过程中的重复翻译问题。

技术领域

本发明涉及融合成分注意力的非自回归机器翻译方法，属于自然语言处理技术领域。

背景技术

编码器-解码器框架的深度神经网络在机器翻译方面取得了巨大成功，例如循环神经网络RNN、卷积神经网络CNN，以及基于自我注意的翻译器。早期的RNN基于模型的固有顺序结构阻止了它们在训练和推理期间并行化，而CNN和自我注意的模型可以解决这些问题的一部分。CNN和自我注意自回归模型中虽然能实现很大部分的并行性，但是由于每个目标令牌的预测必须基于先前预测令牌的自回归性质仍然在推断阶段造成瓶颈。Gu等人(2017)将所有的解码器输入同时公开在神经网络中，提出了非自回归模型(NART)。其通过生育值预测函数复制源句子的嵌入，生成解码器的输入z＝(z₁，…·Z_tx)，X为源语言，Y为目标语言，条件预测P(Y|X)定义为：其中T_y是目标句的长度，等于所有生育值Z的总和。NART模型训练的损失函数仍然为输出分布上的交叉熵损失函数，改变的是并行生成了输出分布。

由于非自回归机器翻译模型是对于每个词单独建模缺乏上下文信息，随之而来的问题是译文质量大幅下降，为了让模型能获得目标语言更多的上下文知识，Jason Lee等人对非自回归transformer模型做出了改进，提出了迭代非自回归模型。但是其中重复翻译和漏翻译的问题任然存在。如下所示可看出迭代非自回归中的重复翻译问题：源语言-德语：die habenprinzipien.目标语言-英语：they have have similar principles.

虽然与自回归模型相比非自回归模型可以达到15倍多的翻译速度，与此同时带来了翻译质量的下降。因为解码器的输入依赖先前生成的令牌(即：Y_t依赖Y₁:Y_t-1)这一部分被替换为源句子令牌的复制。从而导致解码器无法利用固有的句子结构进行预测。因此，在训练过程中，解码器必须自己找出目标语言端信息和源语言端的信息，与自回归相比这是一个更具有挑战性的任务。非自回归翻译模型无法很好地处理目标句子的生成，应引入强大的目标语言信号作为解码器输入，以帮助模型更好地学习目标语言的信息。于是我们将成分注意力融和到迭代非自回归解码器。

发明内容

本发明要解决的技术问题是：本发明提供融合成分注意力的非自回归机器翻译方法，为解决非自回归因目标语言的上下文信息不足带来的翻译问题，比如重复翻译问题，本发明将成分注意力引入到迭代非自回归机器翻译模型中。

本发明的技术方案是：融合成分注意力的非自回归机器翻译方法，所述方法的具体步骤如下：

Step1、获取实验数据集；

Step2、通过迭代非自回归机器翻译模型第一次生成目标译文；

Step3、使用成分注意力模块获得目标译文的成分注意力矩阵；

Step4、将成分注意力矩阵乘以多头注意力矩阵；

Step5、将相乘后得到的注意力矩阵训练非自回归机器翻译模型得到新的非自回归机器翻译模型；

Step6、迭代多次重复Step2-Step5的过程。

作为本发明的优选方案，所述Step1的具体步骤为：

Step1.1、从汉越互译网站爬取的汉越互译文章，通过人工进行筛选并对齐得到平行句对；