[发明专利]一种基于动态配置解码的神经机器翻译方法

说明书

本发明的一种基于动态配置解码的神经机器翻译方法，在Transformer模型的基础上增加基于卷积神经网络的决策模型，把编码获得的编码信息作为输入送入决策模型，决策模型对编码信息进行卷积、池化和归一化处理，输出相应的解码配置；根据解码配置用已训练好的解码器进行解码，对选取的解码配置进行打分；根据打分结果采用增强学习的方法来改善决策模型，获得训练好的决策模型；采用训练好的改进的自注意力机制的模型进行翻译，输出准确率较高的翻译译文。本发明使用的决策模型小，训练代价低，其通过在已经训练好的机器翻译模型上以端到端的方式训练得到，而无需重新训练整个机器翻译模型。

技术领域

本发明属于机器翻译技术领域，涉及一种基于动态配置解码的神经机器翻译方法。

背景技术

神经机器翻译技术目前采用基于编码器-解码器框架的神经网络来进行建模。首先，输入的源语句使用网络的编码器来得到一个固定维度的向量，然后网络的解码器使用这个向量逐词地生成对应的翻译结果。这种方法已经在许多不同语种的互译中达到了最佳翻译性能。

在神经网络的解码器生成翻译结果的时候，通常有许多参数来控制解码器的行为。比如解码器会产生多个可能的翻译结果以及相应的分数。一般我们会挑选其中得分最高的翻译结果，但是很多情况下网络性能不够好，我们需要利用长度比这个参数来对这些得分进行一些调整，以防止太短或者太长的翻译结果被挑选到。一个使用长度比进行得分调整的示例如下：

正确答案：她 有 许多 漂亮的 衣服

翻译结果1：她 有 许多 漂亮的 衣服

结果1得分：-0.1 -0.2 -0.15 -0.13 -0.1

翻译结果2：有 许多 衣服

结果2得分：-0.12 -0.15 -0.1

对于翻译结果1来说，它的总得分是(-0.1+-0.2+-0.15+-0.13+-0.1)/5＝-0.68/5＝-0.136，其中5是翻译结果1的长度，而翻译结果2的总得分是(-0.12+-0.15+-0.1)/3＝-0.37/3＝-0.123。因为翻译结果2的得分比翻译结果1高，解码器会挑选翻译结果2作为最终的输出。显然，翻译结果1更接近正确答案，而翻译结果2相比起来太短了。长度比这个参数则在总得分的基础上把翻译结果的长度考虑进去。在长度比等于1.5的情况下，翻译结果1的得分现在是-0.68/5^1.5＝-0.06，其中分母5是翻译结果1的长度，即词数。相应的翻译结果2的得分变为-0.37/3^1.5＝-0.07。在这个得分的基础上挑选，解码器将会选择翻译结果1作为最终的输出。

除了长度比以外，解码器还有许多其他的参数来控制其不同的行为，比如束大小控制了解码器搜索的范围，解码长度限制了最终翻译结果的词数，等等。在实际应用中，解码器通常使用一个全局统一的参数配置来进行生成翻译结果，即不论什么样的源语句被输入进来，它所使用的参数配置都是不变的。而实际上不同的源语句它对应的最优的参数配置是各不相同的，比如有的句子需要倾向于生成短的翻译，而另外一些句子则倾向生成长的翻译。一个对不同源语句使用不同长度比设置的示例如下：

源语言1：关心

目标语1：take care of

源语言2：更容易

目标语2：easier

对于源语言1来说，它只有一个词，而它的正确翻译有三个词，因此生成翻译的时候解码器应该倾向生成长翻译，即更大的长度比。而对于源语言2来说，它有两个词，而正确翻译只有一个词，因此解码器应该倾向生成短翻译，即更小的长度比。

因此，目前亟需一种决策方法，可根据不同的源语句选取对应的最优的参数配置。

发明内容