[发明专利]机器翻译模型训练方法、装置、介质及电子设备

权利要求书

1.一种机器翻译模型训练方法，其特征在于，所述方法包括：

获取训练数据集和候选数据集；所述训练数据集中包括一份或多份高资源语料及各份所述高资源语料对应的词表，所述候选数据集中包括一份或多份低资源语料及各份所述低资源语料对应的词表，所述高资源语料的数据量大于所述低资源语料的数据量，所述词表用于表示分词和词向量的对应关系；

采用所述训练数据集中的语料对所述机器翻译模型进行训练，并在训练过程中更新所述训练数据集中各份语料对应的词表；

采用所述高资源语料对应的词表更新所述低资源语料对应的词表，并计算所述低资源语料对应的词表的更新完成度，所述更新完成度用于表示采用所述高资源语料对应的词表对所述低资源语料对应的词表进行更新的进度；

将词表的所述更新完成度大于预设阈值的低资源语料加入到所述训练数据集。

2.根据权利要求1所述的方法，其特征在于，所述采用所述训练数据集中的语料对所述机器翻译模型进行训练，包括：

根据训练数据集中的各份语料对应的采样权重对所述训练数据集中的各份语料进行采样；

根据采样获得的语料对所述机器翻译模型进行训练；

在训练过程中，计算所述训练数据集中的各份语料对应的训练完成度，并根据所述训练完成度，更新所述语料的采样权重，所述采样权重与所述训练完成度成反比。

3.根据权利要求2所述的方法，其特征在于，所述在训练过程中，计算所述训练数据集中的各份语料对应的训练完成度，包括：

获取预设的用于表示所述机器翻译模型训练收敛的第一损失函数值；

将所述训练数据集中的各份语料对应的验证集输入到所述机器翻译模型中，得到所述训练数据集中的各份语料对应的第二损失函数值；

计算所述第一损失函数值和所述第二损失函数值的差值，并根据所述差值计算所述训练数据集中的各份语料对应的训练完成度。

4.根据权利要求3所述的方法，其特征在于，所述计算所述低资源语料对应的词表的更新完成度，包括：

获取所述低资源语料对应的词表与所述高资源语料对应的词表中的相同的高频分词的分词数量，所述高频分词为在语料中的出现频次在预设排名内的分词；

根据所述分词数量与所述预设排名的比值，分别确定各份所述高资源语料与所述低资源语料的相似度；

将与所述低资源语料的相似度最高的高资源语料对应的训练完成度，作为所述低资源语料对应的词表的更新完成度。

5.根据权利要求3所述的方法，其特征在于，所述计算所述低资源语料对应的词表的更新完成度，包括：

获取所述低资源语料对应的词表与所述高资源语料对应的词表中的相同的高频分词，所述高频分词为在语料中的出现频次在预设排名内的分词；

根据所述分词数量与所述预设排名的比值，分别确定各份所述高资源语料与所述低资源语料的相似度；

将各份所述高资源语料与所述低资源语料的相似度作为权值，对各份所述高资源语料对应的训练完成度进行加权求和运算，得到所述低资源语料对应的词表的更新完成度。

6.根据权利要求3所述的方法，其特征在于，所述计算所述低资源语料对应的词表的更新完成度，包括：

获取所述低资源语料对应的词表与所述高资源语料对应的词表中的相同的高频分词，所述高频分词为在语料中的出现频次在预设排名内的分词；

根据所述分词数量与所述预设排名的比值，分别确定各份所述高资源语料与所述低资源语料的相似度；

通过以下计算式计算每份所述高资源语料对应的激活权重S_i：

其中，v_i和v_j均为所述高资源语料与所述低资源语料的相似度，e为自然对数；

根据所述激活权重S_i，对各份所述高资源语料对应的训练完成度进行加权求和运算，得到所述低资源语料对应的词表的更新完成度。