[发明专利]一种由未来语境引导的神经机器翻译模型优化方法

说明书

本发明涉及机器学习技术领域，特别涉及一种由未来语境引导的神经机器翻译模型优化方法，包括以下步骤：部署深度学习环境，将预处理后的平行语料数据集输入到Transformer模型中进行训练；获取编码器最后输出的隐藏状态h_enc，将h_enc复制成两份，一份用于计算损失函数L_enc，另一份输入解码器；在解码器之后构建未来语境引导模块，得到未来语境引导模块输出的隐藏状态h_future；结合h_future和解码器输出的隐藏状态h_dec进行第二次预测，并计算损失函数L_future；h_future经过一层前馈神经层、残差连接和层归一化之后进行最后一次的预测，并计算损失函数L_fn；对L_enc、L_future和L_fn进行加权操作，之后进行反向传播，并使用Adam优化器更新模型参数。本发明通过未来语义信息引导编码器的字词预测，性能更高。

技术领域

本发明涉及机器学习技术领域，特别涉及一种由未来语境引导的神经机器翻译模型优化方法。

背景技术

机器翻译是深度学习中的一个分支应用领域，拥有长足的发展历史。目前机器翻译的模型可以分为两类：基于循环神经网络(Recurrent Neural Network，RNN)的模型，以及基于Transformer的模型，二者都是序列到序列(编码器—解码器)的模型结构，编码器负责总结源语句的语义信息，解码器使用编码器的输出逐字生成目标语句。基于RNN的模型大多由GRU或者LSTM等神经网络单元结构组成，这类模型的特征是具有时序性，即每一层的输出是上一层的输入，这种特征保留了源语句的时序信息。但缺点是时序计算的约束，导致模型的训练和预测要消耗大量时间；另外待翻译的句子如果过长或者过于复杂，会导致语义信息丢失的问题。

谷歌提出了Transformer模型，该模型使用多头注意力机制(Multi-headAttention，MHA)，使得在训练过程中模型能注意到每个词向量之间的相关性并有所侧重，避免语义丢失；使模型可以并行计算，提高训练的效率的同时减少了计算资源的消耗，使模型更加高效的得到效果更好的翻译质量。

自回归序列到序列的模型结构中，解码器获得源语句的语义信息，并逐字生成目标语句，但这一训练过程中无论是RNN模型还是Transformer模型，编码器不能通过未来的语义信息(未翻译的语句信息)来指导下一个时间步中字词的预测。

发明内容

基于此，有必要针对上述技术问题，提供一种由未来语境引导的神经机器翻译模型优化方法，以解决现有技术中训练过程中无论是RNN模型还是Transformer模型，编码器不能通过未来的语义信息(未翻译的语句信息)来指导下一个时间步中字词的预测的问题。

本发明提供了一种由未来语境引导的神经机器翻译模型优化方法方法，包括以下步骤：

步骤1：部署深度学习环境，对平行语料数据集进行预处理，将预处理后的平行语料数据集输入到Transformer模型中进行训练；

步骤2：获取Transformer模型的编码器最后输出的隐藏状态h_enc，将所述隐藏状态h_enc复制成两份，其中一份用于进行第一次预测，并计算损失函数L_enc，另一份输入至Transformer模型的解码器中；

步骤3：在Transformer的解码器之后构建未来语境引导模块，得到所述未来语境引导模块输出的隐藏状态h_future；所述未来语境引导模块依次由MHA、残差连接、层归一化组成，MHA的输入为Q、K、V，其中Q为解码器输出的隐藏状态h_dec，K和V均为编码器最后输出的隐藏状态h_enc；将MHA的输入Q记为将MHA的输入K记为将MHA的输入Q记为