[发明专利]多语言机器翻译模型训练方法、多语言翻译方法及装置

说明书

本发明提供一种多语言机器翻译模型训练方法、多语言翻译方法及装置。训练方法包括：获取多语言翻译训练语料和多语言翻译验证语料；建立并初始化全参数共享的多语言翻译模型，利用多语言翻译训练语料和多语言翻译验证语料对多语言翻译模型进行训练，得到多语言机器翻译模型。在训练过程中模型自动判断每个共享的参数是否需要转变为语言相关的参数，复制需要转变的参数并将其分配给相关的语言，从而使得模型同时具有共享参数和语言相关参数。本发明用于在多语言机器翻译模型训练的过程中，自动判断参数是否需要共享以及需要被哪些语言对共享，而不依赖预先指定的共享或语言相关的模型组件。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种多语言机器翻 译模型训练方法、多语言翻译方法及装置。

背景技术

机器翻译是利用计算机将一种自然语言自动翻译成另一种自然 语言的一门学科和技术，其中，自然语言翻译前通常称为源语言，翻 译后通常称为目标语言。近些年来，随着深度学习技术的发展，基于 神经网络的机器翻译方法在翻译质量上有了明显的提升，并得到了广 泛的应用。相比于传统的基于统计的机器翻译方法，神经网络机器翻 译模型能通过端到端的方式直接建模一个语言到另一个语言的映射。 在这种模式下，通过扩展源端/目标端的语言数据，可以直接进行一 个语言集合到另一个语言集合之间的映射，使得单个模型可以处理多 个语言对之间的翻译，同时提高了训练和部署的效率，因此这种多语言翻译模型得到了广泛关注和应用。

在多语言翻译中，一个模型需要建模多个语言之间的映射关系， 而不同语言之间存在语法差异，因此引入了语言冲突和模型瓶颈的问 题，即在一个语言上进行优化会影响另一个语言的翻译质量，使得多 语言翻译模型的效果不如双语翻译模型。目前解决该问题的方法是在 一个所有语言共享的模型中，添加一些人工设计的语言独有组件，以 提高模型对特定语言的建模能力。但是这种方法强烈依赖先验知识， 需要语言学特征和经验指导语言独有部分的设计，而且难以扩展到其 他语言上。

发明内容

本发明提供一种多语言机器翻译模型训练方法、多语言翻译方法 及装置，用以解决现有技术中多语言翻译模型存在语言冲突和模型瓶 颈的缺陷，实现提升多语言翻译模型的翻译准确性。

本发明提供一种多语言机器翻译模型训练方法，包括：

获取多语言翻译训练语料和多语言翻译验证语料，所述多语言翻 译训练语料为包含双语平行数据的多个语言对，所述多语言翻译验证 语料包含为包含多语言平行数据的多个语言对；

建立并初始化全参数共享的多语言翻译模型，利用所述多语言翻 译训练语料和所述多语言翻译验证语料对所述多语言翻译模型进行 训练，得到多语言机器翻译模型；其中，通过对多语言翻译模型的训 练，将所述多语言翻译模型的全参数共享转化为部分参数共享且其余 参数与语言相关，所述与语言相关的参数通过如下步骤确定：

在训练过程中每次验证时，根据多语言翻译验证语料中所有语言 对在每个参数上的梯度逐参数组对所述所有语言对进行二类别聚类；

根据每个参数组二类别聚类后的类间距离选取参数组，复制选取 的参数组得到参数组复制本；

将所述选取的参数组和所述参数组复制本分别赋予选取的参数 组的两个类别包含的语言对，获得与所述语言对包含的语言相关的参 数。

根据本发明提供的一种多语言机器翻译模型训练方法，所述根据 多语言翻译验证语料中所有语言对在每个参数上的梯度逐参数组对 所述所有语言对进行二类别聚类具体包括如下步骤：

获取多语言翻译验证语料中每个语言对在每个参数上的梯度，将 所述多语言翻译模型的所有参数分为多个参数组，将所述每个参数组 中所有语言对的梯度展开为梯度向量；

计算所述每个参数组中所有语言对的梯度向量的余弦相似性，根 据所述所有语言对的梯度向量的余弦相似性对每个参数组的语言对 进行二类别聚类。