[发明专利]机器翻译模型训练方法、装置及存储介质

说明书

本公开揭示了一种机器翻译模型训练方法、装置及存储介质，属于自然语言处理技术领域。该方法包括：获取包含多个训练数据对的多领域混合的训练数据集；对多个训练数据对进行数据领域分类，以获得至少两个领域数据子集；确定每个领域数据子集的至少两个候选优化目标，并基于至少两个候选优化目标分别训练每个领域数据子集对应的至少两个候选单领域模型；分别测试每个领域数据子集对应的至少两个候选单领域模型，选择准确性最高的候选单领域模型对应的候选优化目标作为领域数据子集的指定优化目标；基于训练数据集中的每个领域数据子集及其对应的指定优化目标，训练混合领域模型。可以提高混合领域模型对各个领域的语言数据翻译结果的质量。

技术领域

本公开涉自然语言处理技术领域，特别涉及一种机器翻译模型训练方法、装置及存储介质。

背景技术

在机器翻译领域，为了追求语言翻译准确性，人们不断地对机器翻译训练方式进行改进。

在相关技术中，通过将多个数据领域的语言数据混合在一起进行训练，获得多领域翻译适用且各个领域上翻译效果都较好的一个通用翻译模型。

对于不同领域的语言数据，由于包含语言数据的数据量的差异，会有训练难度不一致的问题，在上述相关技术中，将多个数据领域的语言数据混合在一起进行训练获得的翻译模型，会造成不同领域的语言数据翻译结果的质量不一致的问题。

发明内容

本公开提供一种机器翻译模型训练方法、装置及存储介质。所述技术方案如下：

根据本公开实施例的第一方面，提供了一种机器翻译模型训练方法，所述方法包括：

获取多领域混合的训练数据集，所述训练数据集包含多个训练数据对，其中每个训练数据对包括语义相同的源语言序列和目标语言序列；

对所述训练数据集中的多个所述训练数据对进行数据领域分类，以获得至少两个领域数据子集，其中每个所述领域数据子集对应一个数据领域；

基于每个所述领域数据子集，确定所述领域数据子集的至少两个候选优化目标，并基于所述至少两个候选优化目标分别训练每个所述领域数据子集对应的至少两个候选单领域模型；

对于每个所述领域数据子集，分别测试所述领域数据子集对应的至少两个所述候选单领域模型，选择测试准确性最高的候选单领域模型所对应的候选优化目标作为所述领域数据子集的指定优化目标；

基于所述训练数据集中的每个所述领域数据子集及其对应的指定优化目标，训练混合领域模型。

在一种可能的实现方式中，所述基于每个所述领域数据子集，确定所述领域数据子集的至少两个候选优化目标，并基于所述至少两个候选优化目标分别训练每个所述领域数据子集对应的至少两个候选单领域模型，包括：

基于每个所述领域数据子集，训练所述领域数据子集对应的教师模型；

基于所述领域数据子集的各目标语言序列以及所述领域数据子集对应的教师模型的预测结果中的至少一个，确定所述领域数据子集的至少两个候选优化目标；

基于所述至少两个候选优化目标，训练所述领域数据子集对应的至少两个学生模型，作为所述领域数据子集对应的至少两个候选单领域模型。

在一种可能的实现方式中，所述基于所述领域数据子集的各目标语言序列以及所述领域数据子集对应的教师模型的预测结果中的至少一个，确定所述领域数据子集的至少两个候选优化目标，包括：

对于每个所述领域数据子集，构建优化目标函数：pT(X)+(1-p)Y，其中T(X)为所述领域数据子集对应的教师模型输出的预测概率分布，Y为所述领域数据子集所包含的各目标语言序列的真实概率分布，p为领域权重且满足0≤p≤1；

选择领域权重p的至少两个取值，基于所述优化目标函数，获得所述领域数据子集的至少两个候选优化目标。