[发明专利]一种基于Transformer深度学习模型的多语种地名词根汉译方法

权利要求书

1.一种基于Transformer深度学习模型的多语种地名词根汉译方法，其特征在于包括以下步骤：

步骤1：对原始外文地名语料和对应中文翻译语料进行预处理；

步骤2：基于由收集、整理的各语种地名、语言特征获取的规则所组成的地名语种规则知识库并结合外文地名的语种特征，识别输入外文地名的语种；

步骤3：根据识别出的外文地名的语种信息，从地名词根抽取库中选择与语种相对应的地名词根抽取规则，提取外文地名的词根部分，利用中文地名词根抽取规则抽取对应中文翻译中的地名词根部分；

步骤4：将外文地名和对应中文翻译的词根文本转化为字符集合，并利用独热编码与由浅层前馈神经网络构建的字符嵌入模型获取每个外文字符和中文字符相应的字符向量；

步骤5：训练和微调Transformer模型，以BLEU得分为依据来调整词嵌入层输出维度、编码器层数、自注意力机制数、前馈神经网络输出维度、批处理数量、预训练次数和丢弃正则化概率七个超参数的取值，使得Transformer模型对测试集的翻译结果能取得最高的BLEU得分；

步骤6：按照步骤1、2和3提取待汉译地名的词根部分，并将提取结果转化为字符向量输入到训练、微调完毕的Transformer模型中，输出相应的词根汉译结果。

2.根据权利要求1所述的基于Transformer深度学习模型的多语种地名词根汉译方法，其特征在于，所述预处理包括地名特殊字符剔除处理、外文地名缩写部分扩充处理和外文地名统一小写化处理和发音符号替代处理。

3.根据权利要求2所述的基于Transformer深度学习模型的多语种地名词根汉译方法，其特征在于，构建特殊字符库、缩写-全称映射库和发音符号替换映射库，并以上述知识库为基础，以遍历地名字符串的方式实现所述地名特殊字符剔除处理、外文地名缩写部分扩充处理和外文地名统一小写化处理。

4.根据权利要求1所述的基于Transformer深度学习模型的多语种地名词根汉译方法，其特征在于，通过归纳总结获得英语、法语和德语地名中出现频率高且能清晰区分三种语言的单词构建基础地名语种规则知识库。

5.根据权利要求4所述的基于Transformer深度学习模型的多语种地名词根汉译方法，其特征在于，基于所述基础地名语种规则知识库可结合第三方知识库中归纳的英语、法语和德语中常用人名、地名做进一步扩充，建立地名语种规则知识库辅助地名的语种识别。

6.根据权利要求1所述的基于Transformer深度学习模型的多语种地名词根汉译方法，其特征在于，所述地名词根提取包含对地名通名和地名中起到转折作用词汇的剔除，即通过构建一个地名剔除词库，将归纳整理的外文、中文地名常用通名词汇和起到转折作用的词汇储存其中，预处理后的外文、中文地名经过分词处理后，将每个分词结果通过索引与地名剔除词库对比，仅保留不能匹配的分词结果，从而获得外文、中文地名的词根。

7.根据权利要求1所述的基于Transformer深度学习模型的多语种地名词根汉译方法，其特征在于，步骤6中所述将提取结果转化为字符向量是通过构建浅层前馈神经网络将由独热编码表示的地名词根字符转化为字符向量。

8.根据权利要求1所述的基于Transformer深度学习模型的多语种地名词根汉译方法，其特征在于，所述微调Transformer模型是通过控制变量的方法设置对照实验来确定词嵌入层输出维度、编码器层数、自注意力机制数、前馈神经网络输出维度、批处理数量、预训练次数和丢弃正则化概率七个超参数的局部最优取值。

9.根据权利要求8所述的基于Transformer深度学习模型的多语种地名词根汉译方法，其特征在于，通过采用固定其他超参数不变，改变上述七个超参数中某个超参数的取值，经过模型训练后评价该超参数的不同取值模型在测试集上的BLEU得分，从而判定该超参数在取值范围内的最优取值。

10.根据权利要求9所述的基于Transformer深度学习模型的多语种地名词根汉译方法，其特征在于，所述Transformer模型训练次数不低于50000。