[发明专利]一种基于协同训练的半监督蒙汉神经机器翻译方法

说明书

目前，解码器‑编码器结构常用于神经机器翻译中，在平行语料充足的条件下获得了不错的效果。但对于蒙语这种小语种语言，蒙汉平行语料资源有限且极难获得，因此本发明提供了一种基于协同训练的半监督蒙汉神经机器翻译方法，利用半监督的分类生成对抗网络构建了三个翻译模型：蒙汉翻译模型M‑mo‑ch、英汉翻译模型M‑en‑ch、韩汉翻译模型M‑ko‑ch，并使用这三个翻译模型对多源端相互平行语料蒙英韩进行到目标端即汉语的标记，通过用汉语单语训练的语言模型LM‑ch选出质量最好的标记语料用来扩充原有语料库，并重新训练出更好的翻译模型。本发明将协同训练和半监督的分类生成对抗网络结合并运用在蒙汉神经机器翻译中，提高了蒙汉神经机器翻译模型的质量。

技术领域

本发明属于人工智能技术领域，涉及机器翻译，特别涉及一种基于协同训练的半监督蒙汉神经机器翻译方法。

背景技术

机器翻译(Machine Translation，MT)是指利用计算机来自动地将文字从一种自然语言(源语言)转化成具有完全相同含义的另一种自然语言(目标语言)的过程。

近年来，虽然神经机器翻译已经逐渐取代传统的统计机器翻译，但翻译系统性能的好坏高度依赖于平行语料库的质量、规模和领域覆盖度等。但是，像蒙语这种小语种语言，由于其缺乏高质量、大规模、广覆盖率的蒙汉双语平行语料，使得神经机器翻译在蒙汉翻译模型中表现不佳，无法获得质量较好的翻译结果。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于协同训练的半监督蒙汉神经机器翻译方法，利用已有多种平行语料训练出来的模型，对多源端相互平行语料进行到目标端的标记，再利用高质量的标记语料进行语料库扩充并利用半监督的分类生成对抗网络重新训练出更好的翻译模型。

为了实现上述目的，本发明采用的技术方案是：

一种基于协同训练的半监督蒙汉神经机器翻译方法，采用协同训练方法和半监督的分类生成对抗网络相结合的方法来训练翻译模型，基本过程如下：

首先，采用半监督的分类生成对抗网络的方法对已有的蒙汉、英汉和韩汉平行语料分别训练出三个翻译模型：蒙汉翻译模型M-mo-ch、英汉翻译模型M-en-ch和韩汉翻译模型M-ko-ch；

其次，基于协同训练的思想从蒙英韩多源端相互平行语料中抽取蒙英韩三语对齐句子，将其分别作为蒙汉翻译模型M-mo-ch、英汉翻译模型M-en-ch和韩汉翻译模型M-ko-ch的输入，从而分别输出三个汉语句子；

最后，利用汉语单语语料训练一个语言模型LM-ch，通过语言模型LM-ch评估三个翻译模型输出译文的好坏，选择质量最好的汉语译文分别与各翻译模型的输入语句组成新的平行语料，并添加至原来的平行语料库中，继续训练得到新的蒙汉翻译模型M-mo-ch、英汉翻译模型M-en-ch和韩汉翻译模型M-ko-ch，直到蒙汉翻译模型M-mo-ch的BLEU值达到峰值为止。

所述协同训练方法就是在原有平行语料稀缺的情况下，通过合理利用已有单语语料逐步对原有语料库进行扩充的一种方法，在本发明中利用蒙汉(mo-ch)、英汉(en-ch)和韩汉(ko-ch)平行语料分别训练出初始的蒙汉翻译模型M-mo-ch、英汉翻译模型M-en-ch、韩汉翻译模型M-ko-ch，并使用这三个翻译模型对多源端相互平行语料蒙英韩(mo-en-ko)进行到目标端即汉语(ch)的标记，选出质量最好的标记语料用来扩充原有语料库，并重新训练出更好的翻译模型。所述半监督生成对抗网络由生成器G和判别器D组成，其中判别器D具有细致分类功能，通过为每个样本x分配标签y来将数据分成K类，从而学习一个判别器D，但不是和传统GAN一样仅仅学习一个二元判别函数，而是在基于二元判断的基础上通过softmax函数给出x属于K类之一即第k类的概率：

其中D_k(x)表示判别器D将样本x判定为第k类的概率；