[发明专利]一种译文重对齐的循环神经网络跨语言机器翻译方法

权利要求书

1.一种译文重对齐的循环神经网络跨语言机器翻译方法，采用基于局部注意力机制的编码器-解码器架构，在所述架构上添加一个额外的使用局部注意力机制的序列引导网络，编码器对源语言语句进行编码，表示为一个长度固定的上下文向量，解码器依据上下文向量以及序列引导网络给出的序列引导向量，给出目标语言语句，其中所述编码器由一个基于局部注意力机制的循环神经网络(Recurrent neural networks，RNN)组成，所述循环神经网络包含隐藏层h和输出层，隐藏层h将输入的源语言序列编码为隐藏状态，每一j时刻源侧隐藏层特征h_j的计算公式为：

h_j＝σ(W^(hh)h_j-1+W^(hx)x_j)

其中，x_j是j时刻的输入单词向量，为序列x中的一个向量，x＝{x₁，……，x_j-1，x_j，x_j+1，……，x_T}，是T容量的输入源语言序列；W^(hx)是输入x_j的权重矩阵；W^(hh)是前一时刻隐藏层输出h_j-1的权重矩阵；h_j-1是j-1时刻非线性激活函数的输出；σ是非线性激活函数；

即，每一j时刻源侧隐藏层的输出特征h_j都是基于前一时刻隐藏层的输出特征h_j-1及当前输入的单词向量x_j的；

所述序列引导网络是一个LSTM，在每个时间步t，基于先前引导向量g_t-1和当前引导输入信号z_t，生成当前引导向量g_t：

g_t＝f(z_t；g_t-1)

每一时刻的引导输入信号z_t由先前注意力向量和属性特征A结合计算而成；

最终依据当前引导向量g_t生成解码输入d_t：

d_t＝W_ctc_t+W_gtg_t

W_zt，W_ct，W_gt均是权重矩阵，f是解码器LSTM单元内的递归函数；

其特征在于，所述解码器是使用局部注意力的LSTM，使用输入-反馈方式，每一个时间步的对齐决策结合了先前时刻的对齐决策，即t-1时刻的注意力向量和下一个时间步t时刻的输入c_t结合共同进入到解码器中，其每一t时刻注意力向量的计算公式为：

其中，c_t是编码器输出的上下文向量，解码器每个时刻更新其目标隐藏状态h_t；

解码器通过以下方程进行计算：

m_t＝f_t⊙m_t-1+i_t⊙c′_t

h_t＝o_t⊙tanh(m_t)

其中，σ是激活函数，x_t是t时刻的输入，m_t和h_t分别是t时刻记忆单元和隐藏状态，i_t、f_t、o_t、c′_t分别是t时刻输入门，遗忘门，输出门，候选记忆单元，和b^z分别是参数矩阵和偏差；

注意力向量输入到softmax层，输出预测分布，其计算公式为：

其中，是目标语言单词，W^(S)是权重。

2.根据权利要求1所述译文重对齐的循环神经网络跨语言机器翻译方法，其特征在于，所述非线性激活函数使用sigmoid函数。

3.根据权利要求1所述译文重对齐的循环神经网络跨语言机器翻译方法，其特征在于，所述序列引导网络设置在解码器端。