[发明专利]一种基于迁移学习的蒙汉互译方法

权利要求书

1.一种基于迁移学习的蒙汉互译方法，其特征在于，首先，利用大规模的英汉平行语料进行英汉神经机器翻译模型训练；其次，将训练学到的网络参数权重迁移到蒙汉神经机器翻译模型中；再次，进行蒙汉大规模语料训练得到相关知识表示信息，将所述相关知识表示信息融合到蒙汉神经机器翻译模型中；最后，利用现有的蒙-汉平行语料训练神经机器翻译模型，利用训练的该模型进行蒙汉互译。

2.根据权利要求1所述基于迁移学习的蒙汉互译方法，其特征在于，在进行蒙汉翻译模型训练前，首先利用项目“基于深度学习的蒙汉统计机器翻译的研究与实现”构建的120万蒙古语语料库对蒙文进行词干、词缀的切分处理；再将切分的每部分依次与蒙古语语法库进行对比，如果切分合理保留，否则，舍去。

3.根据权利要求2所述基于迁移学习的蒙汉互译方法，其特征在于，所述蒙古语切分处理以Morfessor作为工具，将原蒙语单词切为词根+词缀两部分，从而增加低频词的子词的共现次数，缓解翻译过程中未登录词的出现。

4.根据权利要求2所述基于迁移学习的蒙汉互译方法，其特征在于，利用逆向最大匹配算法将切分的每部分依次与蒙古语语法库进行对比。

5.根据权利要求1所述基于迁移学习的蒙汉互译方法，其特征在于，所述神经机器翻译模型公式为：

其中，θ是模型的参数，是非线性函数，y_n是当前目标语言词，x是源语言句子，y<n是已经生成的目标语言句子，V_y是目标语言词向量，D是目标语言词汇表，C_s是源语言上下文向量，C_t目标语言上下文向量。

6.根据权利要求1所述基于迁移学习的蒙汉互译方法，其特征在于，所述模型训练中，网络各节点参数不再是随机初始化，而是利用导入预训练模型来实现参数权重的迁移；训练过程中编码器端网络参数不再随训练周期的迭代而改变，而是利用layer.trainable冻结其网络参数。

7.根据权利要求1所述基于迁移学习的蒙汉互译方法，其特征在于，所述相关知识表示信息包括词汇、句法、语义、语法。

8.根据权利要求7所述基于迁移学习的蒙汉互译方法，其特征在于，将相关知识表示信息成一个符号化的空间，然后把神经网络中的向量空间关联起来，其中通过下面的双语词典和词表来编码得到的相关知识表示信息：

双语词典：

词表：

其中，X是蒙古语句子，Y是汉语句子，x表示词典对应的蒙古语词，y表示词典对应的汉语词，x表示词表对应的蒙古语词，y表示词表对应的汉语词。

9.根据权利要求1所述基于迁移学习的蒙汉互译方法，其特征在于，使用正则化来将相关知识表示信息整合到神经翻译模型中，并将学到的相关知识表示信息用一个对数线性模型表示，具体翻译模型公式如下：

其中，x表示源语言句子，y表示目标语言句子，f表示神经网络输出层归一化函数，λ_m表示线性模型对应的特征参数。

10.根据权利要求1所述基于迁移学习的蒙汉互译方法，其特征在于，所述BLEU值是用来评估机器翻译译文质量的工具，分数越高说明机器翻译模型性能越好，BLEU值的公式为：

其中，w_n＝1/M，M是译文和参考译文的组词数，M的上限取值为4，p_n代表n元语法准确率，BP代表译文较短惩罚因子：

BP＝e^min(1-r/h,0)

其中，h为候选译文中单词的个数，r是与h长度最接近的参考译文长度。