[发明专利]一种基于动态配置解码的神经机器翻译方法

权利要求书

1.一种基于动态配置解码的神经机器翻译方法，其特征在于，包括如下步骤：

步骤1：在自注意力机制的Transformer模型的编码器和解码器之间增加决策模型，构成改进的自注意力机制模型，所述决策模型基于卷积神经网络建立；

步骤2：输入双语句子级平行数据，分别对源语和目标语进行分词处理，获得分词后的双语平行句对，对改进的自注意力机制模型的编码器和解码器进行训练；

步骤3：用训练好的编码器对分词后的双语平行句对的源语句子按时序进行编码，获取隐藏层上每个时序的状态，即每个时序下不同层的编码信息；

步骤4：把获得的编码信息作为输入送入决策模型，决策模型对编码信息进行卷积、池化和归一化处理，输出相应的解码配置；

步骤5：根据决策模型输出的解码配置使用已经训练好的解码器进行解码，并对选取的解码配置进行打分；

步骤6：根据评价标准给出的分数，采用增强学习的方法来改善决策模型，获得训练好的决策模型；

步骤7：向改进的自注意力机制的模型的编码器输入源语句，将获得的编码信息送入决策模型，解码器根据决策模型输出的解码配置进行翻译。

2.如权利要求1所述的基于动态配置解码的神经机器翻译方法，其特征在于，步骤2中输入的双语句子级平行数据为双语互译的句对集合，每个句对由源语句子和目标语句子组成。

3.如权利要求1所述的基于动态配置解码的神经机器翻译方法，其特征在于，步骤2中采用极大似然方法对改进的自注意力机制模型的编码器和解码器进行训练。

4.如权利要求1所述的基于动态配置解码的神经机器翻译方法，其特征在于，所述步骤3具体为：

给定一个源语句，编码器采用N个非线性变换层进行编码，最终获得如下编码信息：

其中，N是编码器包含的非线性变换层的层数，T是输入源语句的长度，H的每个元素是一个长度为C的词向量。

5.如权利要求1所述的基于动态配置解码的神经机器翻译方法，其特征在于，所述步骤4具体为：

步骤4.1：对输入的编码信息H进行卷积操作；

步骤4.2：对卷积的输出进行池化操作；

步骤4.3：重复多次卷积和池化操作，输出三维张量其中T₁T,N₁N，使用max-over-time pooling方法在三维张量U的T₁维度进行降维处理，获得二维矩阵

步骤4.4：重构U₁为一维向量其中L＝N₁×C₁,然后将U₂输入到全连接层处理，进行如下计算：

Z＝W₂·f(W₁·U₂+b₁)+b₂

其中W₁是形状为(D,L)的实数矩阵，b₁是长度为D的实数向量，W₂是形状为(O,D)的实数矩阵，b₂是长度为O的实数向量，Z是长度为O的实数向量，同时O也是所有可选配置的数目，f是非线性激活函数；

步骤4.5：将Z代入softmax函数，获得长度为O的实数向量P，P的每个元素代表待挑选的对应配置的概率，选择概率最高的配置作为解码配置输出。

6.如权利要求1所述的基于动态配置解码的神经机器翻译方法，其特征在于，所述步骤5具体为：

步骤5.1：采用束搜索的方法来进行解码；

步骤5.2：采用BLEU评价指标对翻译结果进行打分。

7.如权利要求1所述的基于动态配置解码的神经机器翻译方法，其特征在于，所述步骤6具体采用策略梯度法或Q学习法来改善决策模型。