[发明专利]一种GRU神经网络蒙汉机器翻译方法

权利要求书

1.一种GRU神经网络蒙汉机器翻译方法，首先对翻译语言进行预处理，然后对一定规模的蒙汉双语进行Encoder-Decoder模型的搭建和训练，并对蒙汉双语语料进行编码统一处理，最后基于Encoder-Decoder模型得到翻译结果，其特征在于，所述Encoder-Decoder模型是由神经网络构建而成的神经机器翻译模型，其中一个神经网络为LSTM，负责Encoder编码，其采用双向编码设置，即对源语言进行正向编码和逆向编码，将源语句转换成两个不同方向编码且固定长度的向量，两个待解码向量包含了所有的上下文信息，另外一个神经网络为GRU，负责Decoder解码，其从正向和逆向两个方向进行解码，即解码输出目标语言的时候会自动整合上下文信息，由此将编码生成的固定长度向量转换成目标语句。

2.根据权利要求1所述GRU神经网络蒙汉机器翻译方法，其特征在于，所述对翻译语言进行预处理是利用NLPIR分词技术对翻译语言进行分词。

3.根据权利要求3所述GRU神经网络蒙汉机器翻译方法，其特征在于，所述Encoder编码的计算公式为：

h_t＝f(x_t,h_t-1)

即，依据当前时刻的输入x_t和上一时刻的隐藏层输出h_t-1计算当前时刻的隐藏层输出h_t，经过Encoder编码得到各个时刻的输出，进而计算得到最终源语句上下文的特征表示，即，以最终时刻的隐藏层输出表示源语句的上下文；

所述Decoder解码的计算公式为：

其中x₁，…，x_T是输入序列，y₁，…，y_T′是输出序列，V是解码器的初始值，即x₁，…，x_T，T是输入句子的长度，T’是输出句子长度，并且T和T’通常长度不致；

模型的目标函数为源语句正确翻译为目标语句的概率；

模型训练的过程即为将训练样本中源语句正确翻译为目标语句的概率最大化的过程，对于每个时刻i，当前输出为正确结果的概率计算如下

p(y_i|{y₁，…，y_i-1})＝g(y_i-1,s_i,c)

其中g表示整个句子中间语义表示的变换函数，s_i是已经得到的特征向量，c是源语句上下文。

4.根据权利要求3所述GRU神经网络蒙汉机器翻译方法，其特征在于，所述Encoder-Decoder模型的Encoder编码部分不变，Decoder解码部分引入自注意力机制，解码计算时依赖的上下文信息依据Decoder网络上一时刻和全部时刻的Encoder网络隐层计算得到，不同时刻对应上下文信息不同，其中，对于每个时刻i，当前输出为正确结果的概率计算如下

p(y_i|{y₁，…，y_i-1},C)＝g(y_i-1,s_i,c_i)

其中C表示中间语义编码，此时源语句上下文c对于Decoder不同时刻有所区分，表示为c_i，c_i的计算公式如下所示：

e_ij＝a(s_i-1,h)

c_i计算公式的含义为对于Encoder编码部分所有时刻隐藏层输出的加权求和，T表示输入句子的长度，a_ij表示目标在输出第i个单词时输入句子第j个单词的注意力分配系数，s表示中间编码向量，h表示输入句子中第j个单词的语义编码，a(s_i-1,h)表示综合编码函数，e_ij表示总向量。Decoder解码在不同时刻对应权重则不同，c_i同样应用于Decoder解码隐藏层输出的计算，以辅助隐藏层更好地表达。