[发明专利]验证共有子词对XLM翻译模型效果影响的实验方法

说明书

本发明涉及验证共有子词对XLM翻译模型效果影响的实验方法。本发明包括：对XLM翻译模型预训练的语料库进行预处理；验证XLM翻译模型性能是否退化：用预处理后的语料库对XLM翻译模型进行预训练，用预训练后的模型初始化翻译模型，观察新的翻译模型的BLEU值。预处理包括如下：首先获取英语和法语子词中的共有子词及所有子词词频；然后根据分离比例，随机对共有子词进行分离；随后读取所有英法子词的词表保存在词典中，用于后续生成分离子词文件；使用生成的分离子词文件初始化词典，最后使用初始化后的词典来结构化模型语料库文件。本发明验证了共有子词对BLEU值的影响，且本发明对非同源语言的低资源神经机器翻译研究有帮助。

技术领域

本发明涉及验证共有子词对XLM翻译模型效果影响的实验方法，属于自然语言处理技术领域。

背景技术

机器翻译是自然语言处理领域的任务之一，应用广泛，且极具研究价值及商用价值，神经网络机器翻译的出现大大推动了机器翻译的发展。神经机器翻译需要大量的平行语料，低资源神经机器翻译的发展尤为重要。像英法，英德等同源语对的低资源神经机器翻译发展良好，但中英这种非同源语对却效果不佳。为了分析中英语对在翻译模型上退化的原因，进而对非同源语对的低资源神经机器翻译有更加深入的了解，提出了一种验证共有子词对XLM翻译模型性能影响的实验方法。

发明内容

本发明提供了验证共有子词对XLM翻译模型效果影响的实验方法，以验证了共有子词对BLEU值的影响，进而分析中英语对在翻译模型上退化的原因，进而对非同源语对的低资源神经机器翻译有更加深入的了解，以便辅助提出更好的方案来解决非同源语对的低资源神经机器翻译的退化问题。

本发明的技术方案是：验证共有子词对XLM翻译模型效果影响的实验方法，所述方法包括：

Step1、对XLM翻译模型预训练的语料库进行预处理；

Step2、验证XLM翻译模型性能是否退化：用预处理后的语料库对XLM翻译模型进行预训练，用预训练后的模型初始化翻译模型，观察新的翻译模型的BLEU值。

其中Step1预处理包括如下：

首先获取英语和法语子词中的共有子词及所有子词词频；然后根据分离比例，随机对共有子词进行分离；随后读取所有英法子词的词表保存在词典中，用于后续生成分离子词文件；使用生成的分离子词文件初始化词典，最后使用初始化后的词典来结构化模型语料库文件。

作为本发明的进一步方案，所述方法的具体步骤如下：

Step1.1、获取英语和法语子词中的共有子词及所有子词词频；

Step1.2、根据分离比例，随机对共有子词进行分离，得到分离子词文件；

首先，根据共有子词总数和分离比例相乘计算出待分离共有子词的数量，使用随机函数对共有子词进行筛选，得到了要分离的共有子词和不分离的共有子词，将它们分开保存；查找要分离的共有子词分别在英法词表中出现的词频，并将其保存；

Step1.3、读取包含所有英法子词的词表并存在词典中；所有英法子词的词表包含子词以及词频；

Step1.4、生成分离子词文件；

首先读取含有所有英法子词的词表的词典，根据读取的数据判断是否是共有子词，如果是共有字词，再对共有子词进行是否分离的判断；如果不是共有子词，则不需进行是否分离的判断；在对共有子词进行是否分离的判断时，如果共有子词分离，则对英语法语中的词频进行标记，如果共有子词不分离，则对英语法语中的词频记为总词频；最后将不同类型的子词以不同标记保存在同一个文件中；

Step1.5、使用生成的分离子词文件初始化词典；