[发明专利]一种融入注意力机制的预测方法

权利要求书

1.一种融入注意力机制的预测方法，其特征在于，包括以下步骤：

将包括头实体向量、关系向量、尾实体向量和时间向量的四元组作为输入层；

引入注意力机制层，为四元组的各项创建其上下文向量，将得到的上下文向量加上原来四元组对应各项的向量形成新的矩阵向量，并将新的矩阵向量转置馈送到卷积层；

在卷积层当中通过不同的卷积核捕获头尾实体、关系和事实发生时间相同维度之间的全局特征；

通过点积将特征向量和权重向量相乘得到其四元组分数。

2.根据权利要求1所述的一种融入注意力机制的预测方法，其特征在于，所述将包括头实体向量、关系向量、尾实体向量和时间向量的四元组作为输入层具体为：将一个带有时间注解的四元组看作一个句子作为输入，四元组文本由四个项组成：头实体s、关系p、尾实体o和事实发生时间t_b，对应的项的向量为x_i，那么对应的四元组矩阵A定义如下：

式中，序列矩阵d为向量维度，把矩阵A具体到四元组中的各项，定义如下：

式中，s为头实体向量，p为关系向量，o为尾实体向量，t_b为事实发生时间向量。

3.根据权利要求1所述的一种融入注意力机制的预测方法，其特征在于，所述引入注意力机制层，为四元组的各项创建其上下文向量，将得到的上下文向量加上原来四元组对应各项的向量形成新的矩阵向量，并将新的矩阵向量转置馈送到卷积层具体为：

步骤S11：计算四元组中第j项相对于第i项的注意力权重α_i,j：

其中，score(x_i,x_j)为x_j对x_i的影响力得分：

式中，W_a是注意力机制当中的参数，v_a是归一化之后的参数向量，tanh是非线性激活的正切双曲函数；

通过加权求和来对四元组中第i项计算其上下文向量：

步骤12：将最终四元组各项得出的上下文向量和原来四元组各项对应的向量进行相加来更新原来的向量，从而更新矩阵，其更新公式如下：

x’_i＝x_i+g_i。

步骤S13：将更新后的矩阵向量转置馈送到卷积层，转置后得到的序列矩阵为：

其中，表示序列矩阵A'的第i行。

4.根据权利要求1所述的一种融入注意力机制的预测方法，其特征在于，所述在卷积层当中通过不同的卷积核捕获头尾实体、关系和事实发生时间相同维度之间的全局特征具体为：

设置卷积层上不同的卷积核为使用卷积核来提取头实体、关系、尾实体和时间之间相同维度的局部特征及一个四元组的全局关系，每个不同的卷积核提取其特定模式的特征；卷积核ω在序列矩阵A'的每一行数据重复进行卷积，以最终生成特征图v＝{v₁,v₂,…v_k}，其中生成特征图公式如下：

v_i＝g(ω·A'_i,:+b)；

式中，g是ReLU函数，b是一个偏秩项，

5.根据权利要求1所述的一种融入注意力机制的预测方法，其特征在于，所述通过点积将特征向量和权重向量相乘得到其四元组分数采用下式计算：

f(s,p,o,t)＝concat(g([s,p,o,t_b]*Ω))·w；

式中，Ω为卷积核集合，w为权重向量，*表示卷积操作符，concat表示连接符号，g是ReLU函数。