[发明专利]多机制合并注意力的多路径神经机器翻译方法

说明书

本发明涉及一种多机制合并注意力的多路径神经机器翻译方法，属于自然语言处理领域。本发明由CNN翻译机制、Transformer翻译机制、Tree‑Transformer翻译机制独自生成自身的注意力值，并将计算出来的注意力值进行加权累加，然后对齐并进行归一化形成新的注意力值，并传送给解码器的Dec‑Enc attention layer，使各翻译机制完成后续的机器翻译过程得到解码key‑value矩阵。采用各机制生成的解码key‑value矩阵进行加权叠加与归一化，通过线性变换层和softmax层，生成目标译文。本发明的多机制注意力叠加并归一化的过程，可以有效集成多种算法的分析能力，所形成的注意力和理论的真实注意力更加贴近，从而获得更好的翻译效果，可以有效提高翻译的准确度。

技术领域

本发明涉及多机制合并注意力的多路径神经机器翻译方法，属于自然语言处理领域。

背景技术

机器翻译是指利用计算机实现将一种语言句子(源语言句子)翻译成含义相同的另一种语言句子(目标语言句子)的过程，已成为人工智能领域的重要研究方向。

现有技术中Gehring等人提出了CNN翻译机制实现机器翻译，它完全利用卷积神经网络实现机器翻译，它将卷积神经网络分别作为编码器和解码器的工作单元，其中，编码器和解码器均由多层卷积神经网络堆叠组成。在编码端，利用卷积操作对输入序列进行编码。在解码端，每个卷积层都进行注意力操作，所得的结果继续作为下一层的输入。最后，基于最后一层的隐状态预测下一个目标词。

现有技术中Vaswani等人提出了Transformer翻译机制实现机器翻译，它完全利用注意力机制实现机器翻译，在编码端，采用6个相同的编码层堆叠构成，其中，每一层均由多头自注意力机制子层和前馈神经网络子层组成，它们使用残差连接和层归一化。在解码端，采用6个相同的解码层堆叠构成，其中，每一层解码器比编码器多了一个屏蔽多头注意力层。

现有技术中Wang等人提出了Tree-Transformer翻译机制实现机器翻译，它在翻译时可以考虑句子中的句法信息，它在传统Transformer编码端的多头自注意力的基础上增加了成分注意力模块，用于捕获句法信息。

上述三个算法，算法分别来源自于本领域的顶级学术会议，是先有基于机器学习的自动翻译方法中，较新且性能优异的算法，但还存在提升的空间。

目前，注意力已经成为多数基于机器学习的自动翻译方法的核心关键，注意力的准确度直接决定了翻译的质量。在不同的注意力生成机制下，其注意力的计算结果不一致，而任何单一机制生成的注意力都不能完全准确的真实反映语言中的理论注意力。

考虑到实际决策的时候，广开言路，大家畅所欲言，然后将大家的意见整理，形成的民主式的决策通常比一言堂式的独断专行的决策通常更理想。我们推测在自动翻译形成注意力中引入类似民主决策的机制，可以让翻译准确度得以提升。

发明内容

本发明提供了多机制合并注意力的多路径神经机器翻译方法，以用于有效提升翻译质量。

本发明的技术方案是：多机制合并注意力的多路径神经机器翻译方法，该方法将CNN翻译机制、Transformer翻译机制、Tree-Transformer翻译机制相结合。利用每个自动翻译方法独自生成自身的注意力值，并将计算出来的注意力值进行加权累加，其中，我们认为更新的算法和实际实验数据更好的算法可能它们的注意力计算值于理论注意力值更贴近，因此，在累加时这些算法被赋予了更高的权重，具体的权重值还需要实验进一步确定，对齐累加后归一化形成新的注意力值。

我们参考了民主投票的过程，在民主投票中，相对而言，已知能力强的人应该获得更大的投票比例，在本发明所涉及的多机制方法中，较新的算法和实验数据较好的算法，它的注意力理论上更接近于真实的注意力，因此，我们在设计本方法权重的过程中，赋予了较新的算法或实验数据较好的算法更高的权重。