[发明专利]一种基于特征金字塔的神经机器翻译方法

权利要求书

1.一种基于特征金字塔的神经机器翻译方法，其特征在于包括以下步骤：

1)将预处理后的源语言输入送入翻译模型的编码器端，通过词嵌入层和堆叠的编码器层编码成不同维度的上下文向量；

2)编码器的隐层维度在前馈过程中成金字塔型缩放，根据维度大小将编码器层分为不同子块，不同子块的输出向量保存在源语编码向量序列中；

3)将编码器的源语编码向量序列送入翻译模型的解码器端的编解码注意力模块，在编解码器注意力权重的计算过程中，对不同维度的编码键向量和解码查询向量进行不同尺度的多头分割，使得编码子键向量和解码子查询向量保持维度一致；

4)将不同维度的编解码注意力计算结果加权平均，得到最终的编解码器注意力输出向量，解码器通过堆叠的解码器层将源语上下文向量解码成目标语译文，并通过交叉熵损失函数进行梯度更新，优化翻译模型的权重。

2.按权利要求1所述的基于特征金字塔的神经机器翻译方法，其特征在于：步骤1)中，对训练数据进行预处理，将源语输入送入翻译模型的编码器端，将源语信息编码成不同维度的上下文向量；编码器由堆叠的编码器层构成，每个编码器层包括一个自注意力子层和一个全连接子层，其中，自注意力子层的计算方式如下：

其中Self_Att表示自注意力子层，为输入的隐层向量，W_q，W_k，W_v为自注意力子层的参数，softmax(·)为注意力权重计算函数，L_s为源语句长，d为对应的隐层向量维度，a为自注意力权重，

3.按权利要求1所述的基于特征金字塔的神经机器翻译方法，其特征在于：步骤2)中，编码器的隐层维度在前馈过程中成金字塔型缩放，缩放过程发生在每个全连接子层：

h_o＝W₂ReLU(h_iW₁+b₁)+b₂

其中h_i是全连接子层的输入向量，即前面自注意力子层的输出向量，H_o是全连接层的输出向量，W₁∈R^d×4d，W₂∈R^4d×d/2，b₁∈R^4d，b₂∈R^d/2为全连接子层的参数，ReLU为激活函数，最终全连接子层将输入从对应的隐层向量维度d缩放到d/2；

根据维度大小将编码器分为不同子块，不同子块的输出向量保存在源语编码向量序列中，作为源语不同维度的编码信息集合。