[发明专利]基于融合词性和位置信息的汉-越卷积神经机器翻译方法

权利要求书

1.基于融合词性和位置信息的汉-越卷积神经机器翻译方法，其特征在于：

所述基于融合词性和位置信息的汉-越卷积神经机器翻译方法的具体步骤如下：

Step1、收集汉越双语平行语料；

Step2、利用汉越词性标记工具对汉语和越南语进行词性信息标注；

Step3、在标记词性信息的双语语料基础上生成具有词性信息的词表；

Step4、利用带词性信息的词表对汉越双语语料进行词与词性的联合编码与解码；

Step5、通过门控线性单元融入词性信息及位置信息，并采取多层卷积神经网络及不同大小卷积核进行翻译模型的训练，生成汉-越神经机器翻译模型进行汉语越南语机器翻译；

所述Step4中，编码器与解码器同样是共享块结构，并根据固定数量的输入元素来计算中间状态；在解码器中定义了第l块的输出表示为在编码器中也定义了第l块的输出表示为每一个块包含一个一维的卷积与一个非线性函数；n表示解码器中第l块的输出的序列长度；m表示编码器中第l块的输出的序列长度；

针对不同数量的越南语音节，采用不同大小的卷积核，以获取不同程度的、完整的汉语与越南语的词法知识；如下所示，分别设置了大小为3、5、7的卷积核：

为了防止网络退化，在每个卷积层中加入残差连接，其公式如下：

其中，表示j时刻第l块的输出；v为激活函数；W^l表示第l块权重参数，b^l为第l块的偏置项参数，为j时刻的先前块的解码器状态；为第个先前块到第个先前块的时间状态序列，表示第个先前块的时间状态，表示第个先前块的时间状态；

在编码器中，输入与输出的长度始终保持一致；在解码器中，从左侧开始进行m-1个全零元素的填充，之后在卷积的末尾移除m个元素；则第j+1个词的计算公式如下：

其中，p(y_j+1|y₁,...,y_j,x)表示第j+1个词的概率，W_o为权重，b_o为偏置项参数，为第j时刻解码器最顶层的输出；

在解码层中，沿用了多步注意力机制，即上层注意力为下层注意力提供信息；为了计算第l块上第j个解码器状态的总和将当前的解码器状态与先前目标元素y_j的嵌入相融合，其公式如下：

其中，为融入注意力后第l块的权重参数，为融入注意力后第l块的偏置项参数，为第j时刻的解码器状态；

对于解码器第l块上第i个编码器状态与第j个解码器状态总和的注意力其计算公式如下：

其中，为第l块上第j个解码器状态总和，为第l块上第i个编码器状态；

对于上下文向量其计算公式如下：

其中，I_i表示第i个编码器的最终输入向量；

所述步骤Step5中，在融入词性信息时，以门控线性单元融入，在fairseq模型的基础上，利用门控线性单元融入词性信息和位置信息；

Step5.1、对于输入序列x＝(x₁,...,x_m)，利用门控线性单元GLU将其嵌入到分布空间e中，得到的输入向量为e₁,…,e_m，其中，e_i∈R^d是嵌入矩阵D∈R^m×d的列，其计算如下：

其中，W₁,V₁∈R^k×m×n为权重,b₁,c₁∈Rⁿ为偏置项，σ为sigmoid函数，是点乘；R^d表示d维实数集，d表示实数集的维数，k表示卷积核的大小；

Step5.2、对于输入序列x＝(x₁,...,x_m)对应的绝对位置序列p＝(p₁,...,p_m)采用同样的方法嵌入到分布空间e中，其中p_i∈R^d，其维度大小始终与词向量维度大小相一致，模型根据词向量的信息查找相对应的位置向量信息，且该位置向量通过GLU不断优化，其表示如下：

其中，W₂,V₂∈R^k×m×n为权重,b₂,c₂∈Rⁿ为偏置项，σ为sigmoid函数，是点乘，为[0,1,2,3,...,m-1]中的第i个元素，得到的最终输入向量表示为：

I＝(e₁+p₁,...,e_m+p_m)；

对于解码器得到的输出序列y＝(y₁,...,y_n)也进行利用门控线性单元融入词性信息和位置信息的处理，具体步骤如Step5.1-Step5.2的处理过程。