[发明专利]一种由未来语境引导的神经机器翻译模型优化方法

权利要求书

1.一种由未来语境引导的神经机器翻译模型优化方法，其特征在于，包括以下步骤：

步骤1：部署深度学习环境，对平行语料数据集进行预处理，将预处理后的平行语料数据集输入到Transformer模型中进行训练；

步骤2：获取Transformer模型的编码器最后输出的隐藏状态h_enc，将所述隐藏状态h_enc复制成两份，其中一份用于进行第一次预测，并计算损失函数L_enc，另一份输入至Transformer模型的解码器中；

步骤3：在Transformer的解码器之后构建未来语境引导模块，得到所述未来语境引导模块输出的隐藏状态h_future；所述未来语境引导模块依次由MHA、残差连接、层归一化组成，MHA的输入为Q、K、V，其中Q为解码器输出的隐藏状态h_dec，K和V均为编码器最后输出的隐藏状态h_enc；将MHA的输入Q记为将MHA的输入K记为将MHA的输入Q记为

步骤4：结合所述未来语境引导模块输出的隐藏状态h_future以及Transformer的解码器输出的隐藏状态h_dec进行第二次预测，并计算损失函数L_future；

步骤5：所述未来语境引导模块输出的隐藏状态h_future经过一层前馈神经层、残差连接和层归一化之后进行最后一次的预测，并计算损失函数L_fn；

步骤6：对损失函数L_enc、损失函数L_future和损失函数L_fn进行加权操作，之后进行反向传播，并使用Adam优化器更新模型参数。

2.根据权利要求1所述的由未来语境引导的神经机器翻译模型优化方法，其特征在于，所述步骤2中，将所述隐藏状态h_enc复制成两份，其中一份用于进行第一次预测，并计算损失函数L_enc包括：

所述隐藏状态h_enc经过全连接层linear和softmax之后进行预测得到：

其中，为预测得到的结果；

通过损失函数计算L_enc：

其中，y是目标语句，l为模型使用的损失函数，模型统一采用交叉熵损失函数。

3.根据权利要求1所述的由未来语境引导的神经机器翻译模型优化方法，其特征在于，所述步骤3中，得到所述未来语境引导模块输出的隐藏状态h_future的过程包括：

计算MHA的输出H^K；

将H^K和原输入h_dec进行残差连接，得到的输出进行层归一化，得到隐藏状态h_future。

4.根据权利要求3所述的由未来语境引导的神经机器翻译模型优化方法，其特征在于，所述步骤3中，计算MHA的输出H^K的公式如下：

其中，k是transformer相应模块的数量，α_ij是MHA的权重系数，表示生成第i个单词时，源语句中第j个单词的贡献值；n为源语句的长度；W^Q、W^k和W^V分别是MHA中Q、K和V对应的矩阵参数，d是词向量的维度，是MHA在生成第i个单词时得到的结果。

5.根据权利要求1所述的由未来语境引导的神经机器翻译模型优化方法，其特征在于，所述步骤4中，通过一层门控单元结合所述未来语境引导模块输出的隐藏状态h_future以及Transformer的解码器输出的隐藏状态h_dec。