[发明专利]多机制合并注意力的多路径神经机器翻译方法

权利要求书

1.多机制合并注意力的多路径神经机器翻译方法，其特征在于：具体步骤如下：

Step1、收集训练语料；

Step2、对训练语料作预处理；

Step3、从经过预处理的训练语料中抽取训练集、验证集和测试集；

Step4、由训练集语料生成训练用源语言词嵌入向量、训练用位置嵌入向量，将它们拼接一起作为输入，分别输入CNN翻译机制、Transformer翻译机制和Tree-Transformer翻译机制，每个翻译机制根据自身的训练方式对输入进行训练，分别形成自己的训练模型；

Step5、对待翻译的语句，生成语言词嵌入向量、位置嵌入向量，将其分别输入多个翻译机制，各个翻译机制根据自身训练模型，分别计算相应的注意力向量；

Step6、将步骤Step5计算得到的多个注意力值进行加权叠加然后对齐并进行归一化形成新的注意力值；

Step7、将步骤Step6计算得到的注意力值送给解码器的Dec-Enc attention layer，让各翻译机制完成后续的机器翻译过程，分别生成解码key-value矩阵；

Step8、将各机制生成的解码key-value矩阵进行加权叠加与归一化，结果送往线性变换层和softmax层，生成目标译文。

2.根据权利要求1所述的多机制合并注意力的多路径神经机器翻译方法，其特征在于：所述步骤Step2中预处理具体为对训练语料中的双语语料采用MOSES进行分词、小写化处理和数据清理最终保持长度在175以内的句对，然后使用BPE算法对预处理后的全部数据进行分词处理。

3.根据权利要求1所述的多机制合并注意力的多路径神经机器翻译方法，其特征在于：所述步骤Step3中抽取训练集、验证集和测试集是指从处理完的语料中随机抽取160K的平行语料用作训练集和7K的平行语料用作验证集训练翻译模型，6K的平行语料用作测试集，用于评估翻译模型。

4.根据权利要求1所述的多机制合并注意力的多路径神经机器翻译方法，其特征在于：所述步骤Step4中采用CNN翻译机制、Transformer翻译机制和Tree-Transformer翻译机制，即采用这3种模型叠加，模型首先将输入序列转换为词嵌入向量，为了使模型可以学到序列中词的序列顺序，为每个输入的词嵌入向量添加位置嵌入向量，其中位置嵌入向量表示源语句中不同词的位置关系，并定义位置嵌入向量和词嵌入向量分别表示为p＝(p₁,…,p_m)和w＝(w₁,…,w_m)，其中采用如下公式计算位置嵌入向量：

其中，pos表示源语句中词所在的位置，i表示维数；

将词嵌入向量与位置嵌入向量相加输入到模型中，分别输入给多个翻译机制，每个翻译机制根据自身的训练方式对输入进行训练，分别形成自己的训练模型。

5.根据权利要求1所述的多机制合并注意力的多路径神经机器翻译方法，其特征在于：所述步骤Step6中通过编码端接收输入向量分别计算注意力值进行加权叠加，然后对齐并进行归一化形成新的注意力值，编码端由三个编码器组成，其中给Tree-Transformer翻译机制赋予的权重为其余两种翻译机制的两倍。

6.根据权利要求1所述的多机制合并注意力的多路径神经机器翻译方法，其特征在于：所述步骤Step7中，解码器的Dec-Enc attention layer分别接收编码端生成的注意力值key-value键值对，解码器中的查询矩阵q与键矩阵k进行点积运算，再与值矩阵v进行加权求和，让各翻译机制完成后续的机器翻译过程，分别生成解码key-value矩阵。