[发明专利]一种基于依存树句法增强机制的神经机器翻译方法

权利要求书

1.一种基于依存树句法增强机制的神经机器翻译方法，其特征在于，包括以下步骤：

步骤1：构建基于依存树的句法增强注意力机制算法；

在标准注意力机制上，加入依存掩码偏置：

其中，Att()表示注意力机制，Q_i表示单词i的查询query，K_j表示单词j的键值key，x_i表示单词i的词嵌入向量，x_j表示单词j的词嵌入向量，W^Q表示查询query权重矩阵，W^K表示键值key权重矩阵，T表示对矩阵做转置操作，d_k表示向量维度；

给定一个依存掩码D，D∈{0,-∞}^u*u，u表示矩阵维度；根据式2将偏置d设为常向量D_i,j1，其中1表示每一维均为1的向量；由于softmax的指数操作，加上偏置d∈{0,-∞}^u*u，之后对齐的结果相当于为注意力分布乘以一个在[1,0)范围内的权重；

根据词汇x_i和x_j之间的依存关系Dep(x_i,x_j)定义D_i,j的值：

将D_i,j置为-∞，表示系统会忽略相互独立的词对(x_i,x_j)之间的关系，同时，注意力权重会更倾向于独立的词对；设每一独立的关系都是同等重要的，将D_i,j置为0，表示对于不同的独立词对，并不会赋予其不同的偏置；

步骤2：识别冗余头，根据句法注意力的平均权重，动态确定训练过程中每个头的重要性；

步骤3：采用基于依存树的句法增强的注意力机制代替原本的冗余头，以激活其潜在能力。

2.如权利要求1所述的一种基于局部短语句法增强机制的神经机器翻译方法，其特征在于，步骤2中，首先，将依存掩码Dep_mask加入到注意力权重矩阵中，得到对应的反映短期和长期句法关系的句法注意力权重；然后，将序列中对于每个x_i与其句法相关的x_j，求出其句法注意力权重之和；最后，计算句法注意力权重的平均值Syn_attn如下：

其中，n表示单词个数。

3.如权利要求2所述的一种基于局部短语句法增强机制的神经机器翻译方法，其特征在于，判断重要头和冗余头的标准如下：

当某一注意力头的句法注意力权重大于最大注意力权重的平均值时，就认为它是重要头，并且它具备了句法功能；

通过比较句法注意力权重Syn_attn与动态可学习的句法阈值Syn_gate来确定注意力头的函数，其中，Syn_gate是作用于置信度h_conf的sigmoid激活函数，置信度h_conf表示一个注意力头对于序列中n个词汇的最大注意力权重之和的均值：

Syn_gate＝sigmoid(h_comf)

如果Syn_attn小于Syn_gate，则认为当前注意力头为冗余：

其中，h_label表示注意力头是否冗余，1代表非冗余，0代表冗余。