[发明专利]一种融入注意力机制的预测方法

说明书

本发明涉及一种融入注意力机制的预测方法，将包括头实体向量、关系向量、尾实体向量和时间向量的四元组作为输入层；引入注意力机制层，为四元组的各项创建其上下文向量，将得到的上下文向量加上原来四元组对应各项的向量形成新的矩阵向量，并将新的矩阵向量转置馈送到卷积层；在卷积层当中通过不同的卷积核捕获头尾实体、关系和事实发生时间相同维度之间的全局特征；通过点积将特征向量和权重向量相乘得到其四元组分数。本发明从卷积神经网络的角度出发，在结合时序知识的同时，融入注意力机制来提取四元组中各项的上下文信息和相关性，能够提高模型的预测性能。

技术领域

本发明涉及知识图谱技术领域，特别是一种融入注意力机制的预测方法。

背景技术

目前利用卷积神经网络来完成知识图补全的代表性模型有ConvE模型和 ConvKB模型。ConvE模型是第一个将卷积神经网络(CNN)应用于知识图谱补全的模型。该模型尝试使用CNN来捕获头实体向量和关系向量不同维度条目之间的局部关系，而未考虑三元组存在的全局关系。基于此有学者提出ConvKB模型，该模型通过卷积神经网络来改进ConvE模型，从而捕获知识图谱中实体与关系之间的全局关系和过渡特征。但是这两个模型一方面未充分考虑到事实的时间维度，忽略了事实在某个时间点或某个时间段的有效性，导致在时序动态知识图上预测效率不佳；另一方面这两个卷积神经网络模型未充分考虑到四元组中非连续项之间的相关性，导致无法获取实体或时间对于关系的相关性。

一方面，现实中的三元组事实应是带有时间维度的，因此，知识库的时间维度也将成为考量的重点之一；另一方面现有的卷积神经网络知识补全模型未充分考虑四元组中非连续项之间的相关性。

发明内容

有鉴于此，本发明的目的是提出一种融入注意力机制的预测方法，从卷积神经网络的角度出发，在结合时序知识的同时，融入注意力机制来提取四元组中各项的上下文信息和相关性，能够提高模型的预测性能。

本发明采用以下方案实现：一种融入注意力机制的预测方法，具体包括以下步骤：

将包括头实体向量、关系向量、尾实体向量和时间向量的四元组作为输入层；

引入注意力机制层，为四元组的各项创建其上下文向量，将得到的上下文向量加上原来四元组对应各项的向量形成新的矩阵向量，并将新的矩阵向量转置馈送到卷积层；

在卷积层当中通过不同的卷积核捕获头尾实体、关系和事实发生时间相同维度之间的全局特征；

通过点积将特征向量和权重向量相乘得到其四元组分数。

进一步地，所述将包括头实体向量、关系向量、尾实体向量和时间向量的四元组作为输入层具体为：将一个带有时间注解的四元组看作一个句子作为输入，四元组文本由四个项组成：头实体s、关系p、尾实体o和事实发生时间t_b，对应的项的向量为x_i，那么对应的四元组矩阵A定义如下：

式中，序列矩阵d为向量维度，把矩阵A具体到四元组中的各项，定义如下：

式中，s为头实体向量，p为关系向量，o为尾实体向量，t_b为事实发生时间向量。

进一步地，所述引入注意力机制层，为四元组的各项创建其上下文向量，将得到的上下文向量加上原来四元组对应各项的向量形成新的矩阵向量，并将新的矩阵向量转置馈送到卷积层具体为：

步骤S11：计算四元组中第j项相对于第i项的注意力权重α_i,j：

其中，score(x_i,x_j)为x_j对x_i的影响力得分：