[发明专利]机器翻译模型训练方法、装置、介质及电子设备

说明书

本申请属于计算机技术领域，应用于自然语言处理领域，具体涉及一种机器翻译模型训练方法、装置、计算机可读介质及电子设备。该机器翻译模型训练方法包括：获取训练数据集和候选数据集；采用训练数据集中的语料对机器翻译模型进行训练，并在训练过程中更新训练数据集中各份语料对应的词表；采用高资源语料对应的词表更新低资源语料对应的词表，并计算低资源语料对应的词表的更新完成度；将词表的更新完成度大于预设阈值的低资源语料加入到训练数据集。基于该方法能够避免低资源语料的训练过程中出现数据稀疏的问题，充分利用高资源语料的丰富语料，进而提升对低资源语料对应的待训练语言的训练效果。

技术领域

本申请属于计算机技术领域，具体涉及一种机器翻译模型训练方法、机器翻译模型训练装置、计算机可读介质及电子设备。

背景技术

通用的神经机器翻译模型是基于端到端Encoder-Decoder(编码-解码)的框架，一般情况下需要大规模的平行语料来进行模型训练。而由于人工标注成本较高，对于语料资源匮乏的语种，无法获取大规模的平行语料，使得神经机器翻译系统对于语料资源匮乏的语种的翻译质量较差。

高质量的平行语料常常只存在于少量的几种语言之间，对于一些资源缺乏的语言，难以从互联网上找到或者获取可用的平行语料。语料资源的匮乏语种会在模型训练过程中产生数据稀疏(Data Sparsity)的问题，导致模型对于语料资源匮乏的语种的翻译效果较差。如何提升机器翻译模型的翻译效果，是亟需解决的问题之一。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本申请的目的在于提供一种机器翻译模型训练方法、机器翻译模型训练装置、计算机可读介质及电子设备，至少在一定程度上克服相关技术中如何提升机器翻译模型的翻译效果的技术问题。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供一种机器翻译模型训练方法。所述机器翻译模型训练方法包括：

获取训练数据集和候选数据集；所述训练数据集中包括一份或多份高资源语料及各份所述高资源语料对应的词表，所述候选数据集中包括一份或多份低资源语料及各份所述低资源语料对应的词表，所述高资源语料的数据量大于所述低资源语料的数据量，所述词表用于表示分词和词向量的对应关系；

采用所述训练数据集中的语料对所述机器翻译模型进行训练，并在训练过程中更新所述训练数据集中各份语料对应的词表；

采用所述高资源语料对应的词表更新所述低资源语料对应的词表，并计算所述低资源语料对应的词表的更新完成度，所述更新完成度用于表示采用所述高资源语料对应的词表对所述低资源语料对应的词表进行更新的进度；

将词表的所述更新完成度大于预设阈值的低资源语料加入到所述训练数据集。

根据本申请实施例的一个方面，提供一种机器翻译模型训练装置。所述机器翻译模型训练装置包括：

语料获取模块，被配置为获取训练数据集和候选数据集；所述训练数据集中包括一份或多份高资源语料及各份所述高资源语料对应的词表，所述候选数据集中包括一份或多份低资源语料及各份所述低资源语料对应的词表，所述高资源语料的数据量大于所述低资源语料的数据量，所述词表用于表示分词和词向量的对应关系；

模型训练模块，被配置为采用所述训练数据集中的语料对所述机器翻译模型进行训练，并在训练过程中更新所述训练数据集中各份语料对应的词表；

词表更新模块，被配置为采用所述高资源语料对应的词表更新所述低资源语料对应的词表，并计算所述低资源语料对应的词表的更新完成度，所述更新完成度用于表示采用所述高资源语料对应的词表对所述低资源语料对应的词表进行更新的进度；