[发明专利]缓解语言对差异冲突的多语言机器翻译模型的训练方法

权利要求书

1.一种缓解语言对差异冲突的多语言机器翻译模型的训练方法，其特征在于，包括以下步骤：

获取训练语料，其中，所述训练语料包括多个语言对；

建立多语言机器翻译模型，并根据所述训练语料的每个语言对对所述多语言机器翻译模型进行训练；

在训练过程中，计算所述训练语料中所有语言对对应的导数，并对任意两个语言对对应的导数进行冲突调整，以获取调整后的所有语言对对应的导数；

根据所述调整后的所有语言对对应的导数对所述多语言机器翻译模型参数进行更新，以得到训练好的多语言机器翻译模型；

其中，对任意两个语言对对应的导数进行冲突调整，以获取调整后的所有语言对对应的导数，包括：

计算任意两个语言对对应的导数之间的余弦相似度；

根据所述余弦相似度判断所述任意两个语言对对应的导数之间是否存在冲突关系；

如果存在冲突关系，则将所述任意两个语言对对应的导数中的任意一个导数投影到另一个导数的正交平面上，以得到所述任意一个导数投影后的导数，并将所述投影后的导数替代所述任意一个导数，以完成对任意两个语言对对应的导数的冲突调整；

如果不存在冲突关系，则不进行冲突调整；

其中，根据所述余弦相似度判断所述任意两个语言对对应的导数之间是否存在冲突，包括：

如果所述余弦相似度的值为负数，则判断所述任意两个语言对对应的导数之间存在冲突关系；

如果所述余弦相似度的值为非负数，则判断所述任意两个语言对对应的导数之间不存在冲突关系；

其中，通过以下公式得到所述投影后的导数：

其中，g′_l为第l个语言对的导数投影后的导数，g_l为第l个语言对的导数，g_l′为第l′个语言对的导数；

其中，其特征在于，在训练过程中还根据任意两个语言对对应的导数之间的方向相似度和幅度相似度对所述多语言机器翻译模型参数的学习率进行自适应调整，以便根据所述调整后的学习率和所述调整后的所有语言对对应的导数对所述多语言机器翻译模型参数进行更新，以得到训练好的多语言机器翻译模型。

2.如权利要求1所述的缓解语言对差异冲突的多语言机器翻译模型的训练方法，其特征在于，根据任意两个语言对对应的导数之间的方向相似度和幅度相似度对所述多语言机器翻译模型参数的学习率进行自适应调整，包括：

获取所有语言对中的任意两个语言对对应的导数以计算所述任意两个语言对对应的导数之间的方向相似度和幅度相似度；

根据任意两个语言对对应的导数之间的方向相似度和幅度相似度计算任意两个语言对对应的导数之间的最终相似度，以及根据所有语言对中任意两个语言对对应的导数的最终相似度计算所有语言对的平均相似度；

根据所述所有语言对的平均相似度对所述多语言机器翻译模型参数的学习率进行自适应调整。

3.如权利要求2所述的缓解语言对差异冲突的多语言机器翻译模型的训练方法，其特征在于，根据以下公式计算所述任意两个语言对对应的导数之间的方向相似度和幅度相似度：

其中，ds_ll′为方向相似度，ms_ll′为幅度相似度，g_l为第l个语言对的导数，g_l′为第l′个语言对的导数，cos_sim(g_l,g_l′)为第l个语言对的导数和第l′个语言对的导数之间的余弦相似度，||·||₂代表L2范数。

4.如权利要求3所述的缓解语言对差异冲突的多语言机器翻译模型的训练方法，其特征在于，根据以下公式计算任意两个语言对对应的导数之间的最终相似度和所有语言对的平均相似度：

其中，s_ll′为第l个语言对的导数g_l和为第l′个语言对的导数g_l′之间的最终相似度，s_iter为所有语言对的第iter个训练步的平均相似度，总共有L个语言对。