[发明专利]一种翻译模型的训练方法及装置、翻译方法及装置

权利要求书

1.一种翻译模型的训练方法，其特征在于，所述翻译模型包括：编码器和语言模型，所述语言模型采用目标语言的单语语料预训练得到；

所述训练方法包括：

将源语言样本语句输入至所述编码器，得到与所述源语言样本语句对应的第一编码向量；

将与所述源语言样本语句对应的第一编码向量和目标语言样本语句输入至语言模型，得到所述语言模型输出的基于目标语言的第一解码向量以及所述语言模型输出的第一解码向量对应的误差；

基于所述语言模型输出的第一解码向量的误差调整所述语言模型和所述编码器的参数，直至达到训练停止条件。

2.如权利要求1所述的方法，其特征在于，所述编码器包括m个顺次连接的编码层，其中，m为正整数；

将源语言样本语句输入至编码器，得到与所述源语言样本语句对应的第一编码向量，包括：

S102、将所述源语言样本语句输入至第一个编码层，生成第一个编码层的第一编码向量；

S104、将第j-1个所述编码层的第一编码向量输入至第j个编码层，得到第j个所述编码层输出的第一编码向量，其中2≤j≤m；

S106、判断j是否等于m，若是，执行步骤S108，若否，执行步骤S110；

S108、基于m个编码层的第一编码向量得到与所述源语言样本语句对应的第一编码向量；

S110、将j自增1，继续执行步骤S104。

3.如权利要求2所述的方法，其特征在于，基于m个编码层的第一编码向量得到与源语言样本语句对应的第一编码向量，包括：

将第m个编码层的第一编码向量作为与所述源语言样本语句对应的第一编码向量；或

将m个编码层的第一编码向量进行加权求和，得到与所述源语言样本语句对应的第一编码向量。

4.如权利要求1所述的方法，其特征在于，所述语言模型包括n个顺次连接的解码层，其中，n为正整数；

将与所述源语言样本语句对应的第一编码向量和所述目标语言样本语句输入至语言模型，得到所述语言模型输出的基于目标语言的第一解码向量，包括：

S202、根据输入的所述目标语言样本语句，生成对应的第一参考向量；

S204、将所述第一参考向量以及与所述源语言样本语句对应的第一编码向量输入至第一个解码层，得到第一个解码层的第一解码向量；

S206、将第i-1个解码层的第一解码向量以及与所述源语言样本语句对应的第一编码向量输入至第i个解码层，得到第i个解码层的第一解码向量，其中，2≤i≤n；

S208、判断i是否等于n，若是，执行步骤S210，若否，执行步骤S212；

S210、基于n个解码层的第一解码向量得到所述语言模型输出的基于目标语言的第一解码向量；

S212、将i自增1，执行步骤S206。

5.如权利要求4所述的方法，其特征在于，基于n个解码层的第一解码向量得到所述语言模型输出的具有目标语言的第一解码向量，包括：

将第n个解码层的第一解码向量作为所述语言模型输出的具有目标语言的第一解码向量；或

将n个解码层的第一解码向量进行加权求和，得到所述语言模型输出的具有目标语言的第一解码向量。

6.如权利要求1所述的方法，其特征在于，所述得到所述语言模型输出的第一解码向量对应的误差，包括：将所述语言模型输出的第一解码向量与预设的向量验证集进行对比，得到所述语言模型输出的第一解码向量的误差；

所述训练停止条件包括：所述语言模型输出的第一解码向量的误差的变化率小于稳定阈值。

7.一种翻译方法，其特征在于，应用于如权利要求1-6任一项所述的方法得到的翻译模型，所述翻译方法包括：

将待翻译语句输入至编码器，得到与所述待翻译语句对应的第二编码向量；

将与所述待翻译语句对应的第二编码向量输入至语言模型，得到所述语言模型输出的基于目标语言的第二解码向量；

基于所述语言模型输出的第二解码向量得到每个第二解码向量对应的词单元，并根据所述词单元得到翻译语句。