[发明专利]一种由未来语境引导的神经机器翻译模型优化方法

摘要

本发明涉及机器学习技术领域，特别涉及一种由未来语境引导的神经机器翻译模型优化方法，包括以下步骤：部署深度学习环境，将预处理后的平行语料数据集输入到Transformer模型中进行训练；获取编码器最后输出的隐藏状态henc，将henc复制成两份，一份用于计算损失函数Lenc，另一份输入解码器；在解码器之后构建未来语境引导模块，得到未来语境引导模块输出的隐藏状态hfuture；结合hfuture和解码器输出的隐藏状态hdec进行第二次预测，并计算损失函数Lfuture；hfuture经过一层前馈神经层、残差连接和层归一化之后进行最后一次的预测，并计算损失函数Lfn；对Lenc、Lfuture和Lfn进行加权操作，之后进行反向传播，并使用Adam优化器更新模型参数。本发明通过未来语义信息引导编码器的字词预测，性能更高。