[发明专利]一种领域适应医学文献神经机器翻译模型的训练方法

权利要求书

1.一种领域适应医学文献神经机器翻译模型的训练方法，其特征在于，包括以下步骤：

1)对域内和域外平行数据集进行数据预处理，包括：对域内平行数据集的中文部分使用两种以上的分词工具进行分词；对影响最终翻译效果的子词合并操作次数进行参数搜索；只基于域内平行数据集学习域内子词合并模型，并应用到域内和域外平行数据集中，生成域内和域外子词化训练集；从域内和域外子词化训练集中提取域内和域外子词词汇表作为下一步域外预训练模型和域内微调模型训练的翻译词汇表；其中，所述域内平行数据集为生物医学平行数据集，所述域外平行数据集为与生物医学不同领域的平行数据集；

2)基于域外子词化训练集进行域外子词化神经机器翻译模型的训练：使用基于fasttext分类算法或bert预训练模型对基于n-gram语言模型的数据选择法进行改进，具体改进是取代用n-gram语言模型计算句子困惑度方法，替换成训练fasttext或bert领域分类器，训练好fasttext或bert领域分类器后，对域外子词化训练集进行打分和排序，生成域外排序子词化训练集，再对域外排序子词化训练集进行域外预训练模型的训练，训练过程中采用改进的逐步微调方法，该方法是每隔k个epoch训练前设定训练集为域外排序子词化训练集的前百分之N，当训练集数量递减到大于域内子词化训练集的预设数量时，不再递减，继续训练至收敛；

3)使用步骤2)提出的改进的数据选择法，从域外平行数据集中挑选出与域内平行数据集相似的平行数据集来增强域内平行数据集，要注意的是这里的域外平行数据集不是用于训练域外预训练模型的域外平行数据集，而是另外再选择其它同样大规模的域外平行数据集；再对已增强的域内平行数据集进行域内子词合并模型的应用，生成域内子词化训练集；收集并整理出基于专家纠正的高质量中英生物医学子词化数据集，训练小型的fasttext或bert分类器，对域内子词化训练集的每一对句子对打分，得到每一对句子对的权重值并生成训练权重文件，以便将句子对的权重作为训练参数加入到域内微调过程中，最后根据权重值对小于指定阀值的句子对进行滤除；

4)结合上一步骤处理得到的域内子词化训练集和训练权重文件，基于已训练的域外预训练模型，在域内子词化训练集上进行域内微调，在域内微调过程中域内微调模型会对权重高句子对进行更多学习。

2.根据权利要求1所述的一种领域适应医学文献神经机器翻译模型的训练方法，其特征在于：在步骤1)中，只从域内平行数据集中学习联合子词模型，应用到域外平行数据集中；对域内平行数据集的中文部分使用两种以上分词工具进行分词，将中文分词结果连接起来，中英文部分都引入子词化dropout方法，进行多次重复子词化dropout，使得英文部分的每个句子拥有多种子词组合，以便与中文部分匹配，来生成域内子词化训练集。