[发明专利]一种基于字节对编码技术的蒙汉机器翻译系统

权利要求书

1.一种基于字节对编码技术的蒙汉机器翻译系统，其特征在于，其过程为：

首先，使用字节对编码技术(BPE)对英汉平行语料以及蒙汉平行语料进行预处理，将英语、蒙古语及汉语单词全部分成单个字符，然后在词的范围内统计字符对出现的次数，每次将出现次数最多的字符对保存起来，直到循环次数结束；

其次，利用经过BPE技术预处理的英汉平行语料基于神经机器翻译框架进行训练；

然后，将训练好的翻译模型参数权重迁移到蒙汉神经机器翻译框架中，利用经过BPE技术预处理的蒙汉平行语料基于神经机器翻译框架进行训练，得到基于字节对编码技术的蒙汉神经机器翻译原型系统；

最后，将基于字节对编码技术的蒙汉神经机器翻译系统的翻译译文与统计机器翻译译文就BLEU值进行对比和评价，达到最终提高蒙汉机器翻译性能的目的。

2.根据权利要求1所述一种基于字节对编码技术的蒙汉机器翻译系统，其特征在于，所述字节对编码技术(BPE)对英汉平行语料以及蒙汉平行语料进行预处理，其步骤为：

首先，将语料库中英语、蒙语、汉语所有单词的组成字符加入字典，作为初始化字典，将所有单词变成字符分割的形式，并在的末尾加入标记，方便在输出句子后回复分词信息；

其次，对语料中的字符对计数，找出次数最多的字符对(A,B)，并在语料中将其用“AB”代替，从而在字典中增加键值“AB”，此步骤称为合并操作；

然后对上一步操作迭代n次，直到已经学习了一定数量的合并操作；

最后，字典由字符、词素和词语等组成，此时字典大小＝初始字典大小+合并操作次数n。

3.根据权利要求1所述一种基于字节对编码技术的蒙汉机器翻译系统，其特征在于，所述基于神经机器翻译框架进行训练，该神经网络翻译框架的的网络类型是RNN循环神经网络，RNN循环神经网络前向传播算法中，对于任意一个序列索引号t，隐藏层状态h(t)由输入序列x(t)和前一时刻隐藏层状态h(t-1)得到：

h(t)＝σ(Ux(t)+Wh(t-1)+b)

其中，σ为循环神经网络的激活函数，一般为tanh，b为线性关系的偏置，序列索引号t模型的输出o(t)的表示为o(t)＝Vh(t)+d，最终在序列索引号t时预测输出为d为输出结点的偏置，U，V，W是循环神经网络中共享的参数矩阵。

4.根据权利要求1所述一种基于字节对编码技术的蒙汉机器翻译系统，其特征在于，所述神经机器翻译框架公式为：

其中，是模型的参数，是非线性函数，y_n是当前目标语言词，x是源语言句子，y<n是已经生成的目标语言句子，V_y是目标语言词向量，D是目标语言词汇表，C_s是源语言上下文向量，C_t目标语言上下文向量。

5.根据权利要求1所述一种基于字节对编码技术的蒙汉机器翻译系统，其特征在于，所述两次模型训练中，编码器和解码器进行联合训练，公式为：

其中，θ是模型的参数，p是条件概率函数，(x_n,y_n)表示双语训练语料，N是训练样本数量，采用极大似然估计算法训练样本。

6.根据权利要求5所述一种基于字节对编码技术的蒙汉机器翻译系统，其特征在于，所述编码器的编码步骤为：首先，该双向循环神经网络正向和反向读入输入的序列X＝(x₁，x₂，…，x_m)，其中X为经过BPE技术预处理后的双语语料句子序列，x₁，x₂，…，x_m为经过BPE技术预处理后的双语语料子词序列。其次，分别输出正向隐藏状态序列和反向隐藏状态序列，其中m为源端单词的个数，最终将上述正向隐藏状态序列与反向隐藏状态序列拼接成为一个新的序列。