[发明专利]用于训练深层神经机器翻译模型的方法及装置

权利要求书

1.一种用于训练深层神经机器翻译模型的方法，其特征在于，包括：

根据训练样本得到第一联合输入表示，所述训练样本包括源语句和目标语句；

将所述第一联合输入表示输入到M层顺次连接的训练网络，得到最终的输出表示；其中，每层所述训练网络中，包括顺次连接的自-交叉注意力网络和前馈网络；

根据所述最终的输出表示及所述目标语句，利用反向传播算法更新模型训练参数；

所述将所述第一联合输入表示输入到M层顺次连接的训练网络，得到最终的输出表示，具体包括：

将所述第一联合输入表示作为第一层所述训练网络的输入，即所述第一联合输入表示输入到第一个所述自-交叉注意力网络；每一层所述训练网络进行预设处理后得到相应分层的输出表示，并且上一层的所述输出表示作为下一层的联合输入表示；最终，经过M层所述训练网络的所述预设处理后，得到最终的所述输出表示；

其中，对于每一层所述训练网络，所述预设处理具体包括：

接收到相应分层的所述联合输入表示后，所述自-交叉注意力网络根据所述联合输入表示得到询问表示、键表示及值表示；

采用点积式注意力机制对所述询问表示、所述键表示及所述值表示进行计算，得到中间表示；

利用与所述自-交叉注意力网络连接的所述前馈网络对所述中间表示进行处理，得到本层的所述输出表示；

所述第一联合输入表示的表达式为：

其中，H⁰为所述第一联合输入表示；为所述第一联合输入表示的各个向量；X＝(x₁,…,x_i,…,x_I)表示所述源语句的I个子词的词向量的集合；y₀是一个全零向量；y₁…y_J-1分别表示所述目标语句的J个子词中前J-1个子词的词向量；L₁表示所述源语句对应的语言向量；L₂表示所述目标语句对应的语言向量；分别表示x₁…x_I的位置向量；分别表示y₀、y₁…y_J-1的位置向量；

对于第m层所述训练网络，所述询问表示、所述键表示及所述值表示的表达式为：

其中，Q^m、K^m、V^m分别为第m层所述训练网络的所述询问表示、所述键表示及所述值表示；及均为第m层所述训练网络的模型训练参数；H^m-1为第m联合输入表示，即第m层所述训练网络对应的联合输入表示；

所述中间表示的表达式为：

其中，H^m′为第m层所述训练网络的所述中间表示；d为所述深层神经机器翻译模型的隐藏表示的维度，B为所述深层神经机器翻译模型的掩码矩阵；softmax为归一化指数函数；

所述输出表示的表达式为：

其中，H^m为第m层所述训练网络的所述输出表示；和均为第m层所述训练网络的模型训练参数；max表示对求最大值，1≤m≤M。

2.根据权利要求1所述的用于训练深层神经机器翻译模型的方法，其特征在于，所述根据训练样本得到第一联合输入表示，具体包括：

将所述源语句和所述目标语句进行预处理，所述预处理包括分词处理；

将所述源语句和所述目标语句中的每个子词分别映射成词向量；

将所述词向量分别与对应的语言向量和位置向量相加，得到所述第一联合输入表示。

3.根据权利要求2所述的用于训练深层神经机器翻译模型的方法，其特征在于，所述根据所述最终的输出表示及所述目标语句，利用反向传播算法更新模型训练参数，具体包括：

根据所述目标语句对应的最终的所述输出表示，利用反向传播算法更新模型训练参数，使得预测值为所述目标语句的词向量的概率最大化。

4.根据权利要求1～3任一所述的用于训练深层神经机器翻译模型的方法，其特征在于，所述方法还包括：

基于所述深层神经机器翻译模型，利用基于集束搜索的解码方法将源语言翻译成目标语言。