[发明专利]一种基于实体属性的知识图谱事实补全方法

权利要求书

1.一种基于实体属性的知识图谱事实补全方法，其特征在于包括以下步骤：

第一步：构建基于路径的知识图谱事实补全系统，该系统由数据预处理模块、事实预测网络、事实补全模块构成；

数据预处理模块与事实预测网络相连，接收用户输入的知识图谱，对用户输入的知识图谱进行预处理，得到训练事实预测网络所需的训练数据即训练样本的数据集合和训练样本的标签集合、验证事实预测网络所需的验证数据即验证样本的数据集合和验证样本的标签集合、以及事实补全模块所需的要判断是否为缺失事实的补全数据即补全样本的数据集合，输出给事实预测网络，并将补全样本的数据集合输出给事实补全模块；数据预处理模块由路径抽取函数f_ExtractPath和路径预处理函数f_{PreprocessPaths}构成，其中f_ExtractPath从知识图谱中抽取每个样本的实体之间的路径信息，f_{preprocessPaths}将每个样本的实体间路径信息处理为事实预测网络需要的数据结构；将知识图谱中的实体集合、关系集合、事实集合分别记为E＝{e_i}，R＝{r_j}和将实体的属性集合记为A＝{a_v}，将实体的类型集合记为L＝{l_o}，其中1≤i≤|E|，1≤i₁≤|E|，1≤i₂≤|E|，1≤j≤|R|，1≤v≤|A|，1≤o≤|L|，|E|、|R|、|A|、|L|分别表示实体的总数、关系的总数、属性的总数和类型的总数；将r′_j记为r_j的反关系，表示若则根据E、R、F、A、L，数据预处理模块获取训练样本集合S_*、训练样本的标签集合Y_*、验证样本集合S_#、验证样本的标签集合Y_#、以及补全样本集合U；对于S_*、S_#、U中的每个样本，数据预处理模块先使用f_ExtractPath从知识图谱中抽取样本的实体对之间的正向路径集合，然后使用f_{PreprocessPaths}处理该正向路径集合输出样本的数据集合，构成训练样本的数据集合、验证样本的数据集合、补全样本的数据集合；

事实预测网络由嵌入层、关系编码器、实体编码器、路径编码器、预测器五个部分组成；其中，嵌入层包含3个嵌入矩阵，分别为关系的嵌入矩阵W_r、实体属性的嵌入矩阵W_A、实体类型的嵌入矩阵W_L；关系编码器用于提取每条路径的关系序列特征，由一个LSTM网络构成，记为LSTM_r；实体编码器用于提取每条路径的实体序列特征即每条路径上实体的属性信息序列的特征和类型信息序列的特征，由实体画像注意力网络和实体序列编码网络两个子网络构成，其中实体画像注意力网络由结构相同的实体属性注意力网络和实体类型注意力网络构成，实体属性注意力网络由4个全连接层构成，实体类型注意力网络由4个全连接层构成，而实体序列编码网络由两个LSTM网络即LSTM_A和LSTM_L及4个全连接层构成；路径编码器由结构相同的正向路径注意力网络和反向路径注意力网络构成，其中正向路径注意力网络由2个全连接层f_p和构成，反向路径注意力网络由2个全连接层f′_p和构成，分别用于聚合每个样本的所有正向路径的特征和所有反向路径的特征；预测器由4个全连接层f₁，f₂，f₃和f₄构成，用于预测每个样本属于事实的概率；事实预测网络从数据预处理模块得到包含训练样本的数据集合、验证样本的数据集合、补全样本的数据集合的样本数据集合，提取样本数据集合中每个样本的路径特征，然后计算出每个样本属于事实的概率，组成包括训练样本的预测概率集合、验证样本的预测概率集合、补全样本的预测概率集合的预测概率集合；事实预测网络根据数据预处理模块输出的训练样本的标签集合和事实预测网络预测的训练样本的预测概率集合，进行训练并更新网络参数；事实预测网络根据数据预处理模块输出的验证样本的标签集合和事实预测网络预测的验证样本的预测概率集合，进行验证并保存最优的网络参数；如果输入事实预测网络的样本数据集合是补全样本的数据集合，则事实预测网络将计算得到的补全样本的预测概率集合输出给事实补全模块；

事实补全模块与数据预处理模块和事实预测网络相连；事实补全模块接收数据预处理模块输出的补全样本的数据集合和训练好的事实预测网络输出的补全样本的预测概率集合Z，根据每个补全样本的预测概率判断补全样本的数据集合中补全样本集合U里的每个补全样本是否是需要补全的事实，如果补全样本是需要补全的事实，则将补全样本添加到知识图谱的事实集合中，得到补全后的知识图谱的事实集合F_new；

第二步：数据预处理模块根据用户输入的需要补全的知识图谱、实体的类型集合L和每个实体对应的类型信息的字典D_L，以及需要补全的查询关系集合R_Q，准备训练事实预测网络所需的训练数据、验证事实预测网络所需的验证数据、以及事实补全模块所需的要判断是否为缺失事实的补全数据；方法是：

2.1数据预处理模块接收用户输入的需要补全的知识图谱、实体的类型集合L和每个实体对应的类型信息的字典D_L，以及需要补全的查询关系集合R_Q，R_Q＝{r_q|r_q∈R}，1≤q≤Q，Q为R_Q中元素的个数；需要补全的知识图谱包括实体集合E、关系集合R、事实集合F，字典D_L中的key为实体，value为实体对应的类型集合；

2.2数据预处理模块使用路径抽取函数f_ExtractPath和路径预处理函数f_{PreprocessPaths}准备训练和验证事实预测网络需要的训练样本的数据集合和训练样本的标签集合、验证样本的数据集合和验证样本的标签集合，方法是：

2.2.1令存储所有训练样本的集合存储所有训练样本的标签集合存储所有训练样本的所有正向路径的关系序列的集合存储所有训练样本的所有反向路径的关系序列的集合存储所有训练样本的所有正向路径的实体属性信息序列集合存储所有训练样本的所有正向路径的实体类型信息序列集合存储所有训练样本的所有反向路径的实体属性信息序列集合存储所有训练样本的所有反向路径的实体类型信息序列集合

2.2.2令存储所有验证样本的集合存储所有验证样本的标签集合存储所有验证样本的所有正向路径的关系序列的集合存储所有验证样本的所有反向路径的关系序列的集合存储所有验证样本的所有正向路径的实体属性信息序列集合存储所有验证样本的所有正向路径的实体类型信息序列集合存储所有验证样本的所有反向路径的实体属性信息序列集合存储所有验证样本的所有反向路径的实体类型信息序列集合

2.2.3令q＝1；

2.2.4如果q≤Q，转2.2.5，否则说明全部样本数据均已经处理，转2.2.18；

2.2.5设置负样本数目与正样本数目的比值为K_N|P，K_N|P为正整数；设置样本数量阈值为K_q，K_q为正整数，，其中表示以r_q为关系的事实，即表示集合的元素数目；令查询关系r_q的样本集合为令查询关系r_q的样本标签集合为令查询关系r_q下所有样本的所有正向路径的关系序列的集合查询关系r_q下所有样本的所有反向路径的关系序列的集合查询关系r_q下所有样本的所有正向路径的实体属性信息序列集合查询关系r_q下所有样本的所有正向路径的实体类型信息序列集合查询关系r_q下所有样本的所有反向路径的实体属性信息序列集合查询关系r_q下所有样本的所有反向路径的实体类型信息序列集合

2.2.6令k＝1；

2.2.7如果k≤K_q，转2.2.8，否则说明查询关系r_q下的所有样本的数据已经获取，转2.2.14；

2.2.8随机从实体集合E中选择两个实体和即构造样本s_k，且若则s_k为正样本，令s_k的标签y_k＝1，若则s_k为负样本，令s_k的标签y_k＝0；

2.2.9令s_k的所有正向路径的关系序列的集合s_k的所有反向路径的关系序列的集合s_k的所有正向路径的实体属性信息序列集合s_k的所有正向路径的实体类型信息序列集合s_k的所有反向路径的实体属性信息序列集合s_k的所有反向路径的实体类型信息序列集合

2.2.10 f_ExtractPath采用随机游走方法抽取样本s_k的实体到实体的N条正向路径，放到s_k的正向路径集合中，其中第n条路径p_n由实体和关系交替构成，M为路径p_n的长度，实体为路径p_n上第t步的实体，r_t∈R，1≤t≤M为路径p_n上第t步的关系；

2.2.11 f_{PreprocessPaths}将样本s_k的正向路径集合处理为事实预测网络需要的数据结构，得到样本s_k的查询关系r_q、反向查询关系r′_q，样本s_k的所有正向路径的关系序列的集合所有反向路径的关系序列的集合所有正向路径的实体属性信息序列集合和实体的类型信息序列集合所有反向路径的实体的属性信息序列集合和实体的类型信息序列集合其中：为正向关系序列，为反向关系序列，r′_t是p_n的反向路径p′_n上的关系，为正向实体序列上获得的所有实体的属性信息，为为上的第t步实体e_t的属性集合，|A_t|为A_t中属性的个数；为上获得的所有实体的类型信息记，L_t为e_t的类型集合；为反向实体序列上所有实体的属性信息，为的逆序，即为上所有实体的类型信息，为的逆序，即

2.2.12将样本s_k和s_k的标签分别加入样本集合S_q和样本的标签集合Y_q中，即令S_q＝S_q∪{s_k}，令Y_q＝Y_q∪{y_k}；令

2.2.13令k＝k+1，转2.2.7；

2.2.14此时查询关系r_q下所有样本为S_q＝{s₁，...，s_k，...，s_K}，查询关系r_q下所有样本的标签集合为Y_q＝{y₁，...，y_k，...，y_K}，查询关系r_q下所有样本的所有正向路径的关系序列的集合查询关系r_q下所有样本的所有反向路径的关系序列的集合查询关系r_q下所有样本的所有正向路径的实体属性信息序列集合查询关系r_q下所有样本的所有正向路径的实体类型信息序列集合查询关系r_q下所有样本的所有反向路径的实体属性信息序列集合查询关系r_q下所有样本的所有反向路径的实体类型信息序列集合将S_q、Y_q、按照a∶c的比例分为查询关系r_q下的训练数据S_q*、Y_q*、和验证数据S_q#、Y_q#、a和c为正数，a＞c，且a+c＝10；

2.2.15将查询关系r_q下的所有训练数据作为元素加入总的训练数据中，即令S_*＝S_*∪{S_q*}，Y_*＝Y_*U{Y_q*}，

2.2.16将查询关系r_q下的所有验证数据作为元素加入总的验证数据中，即令S_#＝S_#∪{S_q#}，Y_#＝Y_#U{Y_q#}，

2.2.17令q＝q+1，转2.2.4；

2.2.18此时所有训练样本的标签集合为Y_*＝{Y₁，...，Y_q，...，Y_Q}，所有的训练样本的集合为S_*＝{S_1*，...，S_q*，...，S_Q*}，所有训练样本的所有正向路径的关系序列的集合所有训练样本的所有反向路径的关系序列的集合所有训练样本的所有正向路径的实体属性信息序列集合所有训练样本的所有正向路径的实体类型信息序列集合所有训练样本的所有反向路径的实体属性信息序列集合所有训练样本的所有反向路径的实体类型信息序列集合S_*、构成所有训练样本的数据集合；所有验证样本的标签集合为Y_#＝{Y_1#，...，Y_q#，...，Y_Q#}，所有的验证样本的集合为S_#＝{S_1#，...，S_q#，...，S_Q#}，所有验证样本的所有正向路径的关系序列的集合所有验证样本的所有反向路径的关系序列的集合所有验证样本的所有正向路径的实体属性信息序列集合所有验证样本的所有正向路径的实体类型信息序列集合所有验证样本的所有反向路径的实体属性信息序列集合所有验证样本的所有反向路径的实体类型信息序列集合S_#、构成所有验证样本的数据集合，转2.3；

2.3数据预处理模块使用f_ExtractPath和f_{PreprocessPaths}准备事实补全模块所需的要判断是否为缺失事实的补全样本的数据集合，包括所有补全样本的集合U＝{U₁，...，U_q，...，U_Q}，所有补全样本的所有正向路径的关系序列的集合所有补全样本的所有反向路径的关系序列的集合所有补全样本的所有正向路径的实体属性信息序列集合所有补全样本的所有正向路径的实体类型信息序列集合所有补全样本的所有反向路径的实体属性信息序列集合所有补全样本的所有反向路径的实体类型信息序列集合U_q为查询关系r_q下所有补全样本，|U_q|为U_q中元素的个数，即查询关系r_q下的补全样本的总数；为查询关系r_q下所有补全样本的所有正向路径的关系序列的集合，为查询关系r_q下所有补全样本的所有反向路径的关系序列的集合查询关系r_q下所有补全样本的所有正向路径的实体属性信息序列集合查询关系r_q下所有补全样本的所有正向路径的实体类型信息序列集合查询关系r_q下所有补全样本的所有反向路径的实体属性信息序列集合查询关系r_q下所有补全样本的所有反向路径的实体类型信息序列集合

2.4将步骤2.2得到的S_*、输出给事实预测网络作为Q组查询关系的训练样本的数据集合，将步骤2.2得到的Y_*输出给事实预测网络作为Q组查询关系的训练样本的标签集合，将步骤2.2得到的S_#、输出给事实预测网络作为Q组查询关系的验证样本的数据集合，将步骤2.2得到的Y_#输出给事实预测网络作为Q组查询关系的验证样本的标签集合，将步骤2.3得到的U、U^r、U′^r、U^A、U^L、U^′A、U′^L输出给事实预测网络作为Q组查询关系的补全样本的数据集合；并将补全样本的数据集合输出给事实补全模块；

第三步：采用从数据预处理模块接收的Q组查询关系的训练样本的数据集合、训练样本的标签集合、验证样本的数据集合、验证样本的标签集合对事实预测网络进行训练和验证，获取Q个事实预测网络的权重参数；

具体方法如下：

3.1令q＝1；

3.2如果q≤Q，则转步骤3.3，否则说明所有查询关系的事实预测网络均已训练结束，得到了Q个训练好的事实预测网络，即转步骤3.8；

3.3初始化查询关系r_q对应的事实预测网络的权重参数；

3.4设置的训练参数：包括设置学习率learningRate、一阶矩估计的指数衰减率β₁、二阶矩估计的指数衰减率β₂，防止除以零的参数∈，批数据尺寸batchsize；

3.5从S_*、Y_*、中取出关于查询关系r_q的训练数据S_q*、Y_q*、从S_#、Y_#、中取出关于查询关系r_q的验证数据S_q#、Y_q#、

3.6迭代计算事实预测网络输出的预测概率与真实标签之间的差距，最小化损失并更新网络的参数，直到满足迭代次数要求，得到权重参数；具体方法如下：

3.6.1令训练迭代参数epoch＝1，令事实预测网络对查询关系r_q的验证数据进行预测的平均精确度的值AP_q#＝0；初始化迭代阈值EpochNum，EpochNum是[1，30]内的整数；

3.6.2如果epoch≤迭代阈值EpochNum，转3.6.2.1，否则说明查询关系r_q的事实预测网络已经满足迭代次数要求，训练结束，转3.7；

3.6.2.1令批处理次数b＝1，令已训练样本数目processednum＝0；

3.6.2.2如果转3.6.2.2.1，其中|S_q*|为训练样本集合S_q*的样本数目，否则说明S_q*中的所有训练样本已经参与过计算，该次训练迭代结束，转3.6.2.3计算在验证数据S_q#上的预测结果；

3.6.2.2.1事实预测网络的嵌入层从S_q*中读取C个样本作为第b个batch的训练数据，即一个批次的训练数据，记为样本训练批次集合S_q*，b＝{s₁，...，s_c，...，s_C}，1≤c≤C，其中C＝min(batchsize，|S_q*|-processednum)，表示取batchsize和|S_q*|-processednum中的最小值；从Y_q*、中取出与S_q*，b的这C个样本对应的数据，分别记为标签训练批次集合Y_q*，b＝{y₁，...，y_c，...，y_C}，正向路径关系序列训练批次集合反向路径关系序列训练批次集合正向路径实体属性信息序列训练批次集合和正向路径实体类型信息序列训练批次集合反向路径实体属性信息序列训练批次集合和反向路径实体类型信息序列训练批次集合

3.6.2.2.2采用事实预测网络预测方法f_predict，对第b个batch的数据和查询关系r_q、查询关系的反关系r′_q进行计算，得到第b个batch的数据的预测概率集合其中是该批次数据中样本s_c的预测概率，具体为：

3.6.2.2.2.1事实预测网络的嵌入层读取r_q、r′_q，以及使用关系的嵌入矩阵W_r、实体属性的嵌入矩阵W_A、实体类型的嵌入矩阵W_L分别将数据中的关系、实体属性、实体类型映射为各自的向量表示，得到r_q、r′_q、分别对应的向量形式即批次数据的查询关系的嵌入反向查询关系的嵌入正向路径的关系序列的嵌入反向路径的关系序列的嵌入正向路径的实体属性序列的嵌入正向路径的实体类型序列的嵌入反向路径的实体属性序列的嵌入反向路径的实体类型序列的嵌入将发送给关系编码器和实体编码器；

3.6.2.2.2.2关系编码器从嵌入层接收和计算该批次数据的所有正向路径的关系表示和所有反向路径的关系表示将和传给实体编码器和路径编码器；

3.6.2.2.2.3实体编码器提取每条路径的实体特征；实体编码器从嵌入层接收从关系编码器接收和计算所有正向路径的实体表示和所有反向路径的实体表示将和传给路径编码器；

3.6.2.2.2.4路径编码器从关系编码器接收和从实体编码器接收和分别使用正向路径注意力网络和反向路径注意力网络计算批数据中所有样本的正向路径的表示和反向路径的表示，得到所有样本的正向路径表示和所有样本的反向路径表示将和传输给预测器；

3.6.2.2.2.5预测器从路径编码器接收和计算该批数据中所有样本的预测概率，方法为：

3.6.2.2.2.5.1将输入到全连接层f₁中，将输入到全连接层f₂中，然后将全连接层f₁和f₂的输出进行拼接，得到该批数据中所有样本的路径表示维度为C×600，其中该批数据中每个样本的路径表示维度为600；

3.6.2.2.2.5.2将输入到全连接层f₃中，然后将f₃的输出经过ReLU函数激活后输入到全连接层f₄中，得到所有样本的路径的新表示

3.6.2.2.2.5.3将输入sigmoid函数中，得到该批次所有数据的预测概率集合是该批次数据中样本s_c的预测概率，转3.6.2.2.3；

3.6.2.2.3使用步骤3.6.2.2.1得到的标签集合Y_q*，b和步骤3.6.2.2.2.5.3事实预测网络的预测概率集合计算该批次数据S_q*，b的损失值loss；方法如下式，其中表示该批次数据中查询关系r_q的正样本集合，表示该批次数据中查询关系r_q的正样本集合和负样本集合，如果S_q*，b中的样本s_c的标签y_c＝1，则样本否则

3.6.2.2.4使用Adam优化算法对损失值loss最小化，以反向传播训练网络参数，事实预测网络中W_r、W_A、W_L、LSTM_r、LSTM_A和LSTM_L的参数和20个全连接层的权重矩阵和偏置向量都得到一次更新；

3.6.2.2.5令processednum＝processednum+C，b＝b+1，转3.6.2.2；

3.6.2.3令批处理次数b＝1，令已预测的验证样本数目predictednum＝0，令验证样本的预测概率集合

3.6.2.4如果转3.6.2.4.1，其中|S_q#|为验证样本集合S_q#的样本数目，否则说明已经对S_q#中的所有验证样本进行预测，转3.6.2.5；

3.6.2.4.1事实预测网络的嵌入层从步骤3.5中得到的S_q#中读取C_#个样本作为第b个batch的验证数据，即一个批次的验证数据，记为样本验证批次集合1≤c_#≤C_#，其中C_#＝min(batchsize，|S_q#|-predictednum)；从步骤3.5得到的Y_q#、中取出与S_q#，b的这C_#个样本对应的数据，分别记为标签验证批次集合正向路径关系序列验证批次集合反向路径关系序列验证批次集合正向路径实体属性信息序列验证批次集合和正向路径实体类型信息序列验证批次集合反向路径实体属性信息序列验证批次集合和反向路径实体类型信息序列验证批次集合

3.6.2.4.2采用步骤3.6.2.2.2中所述的事实预测网络预测方法f_predict，对第b个batch的验证数据和查询关系r_q、查询关系的反关系r′_q进行计算，得到第b个batch的验证数据的预测概率集合即其中是该批次数据中样本的预测概率；将加入中，即令

3.6.2.4.3令predictednum＝predictednum+C_#，b＝b+1，转3.6.2.4；

3.6.2.5使用验证数据集合S_q#的标签集合Y_q#和事实预测网络的预测概率集合计算事实预测网络对验证数据进行预测的平均精确度，记为若则令并保存事实预测网络的参数，转3.6.2.6；若则直接转3.6.2.6。；

3.6.2.6令epoch＝epoch+1，转3.6.2；

3.7令q＝q+1，转3.2；

3.8计算该基于路径的知识图谱补全系统进行事实预测的平均精度均值MAP，转第四步；

第四步：事实补全模块对用户输入的需要补全的知识图谱进行补全，方法是：

4.1事实补全模块从数据预处理模块接收补全样本的数据集合，包括U、U^r、U′^r、U^A、U^L、U′^A、U′^L，令补全样本集合U对应的所有补全样本的预测概率集合

4.2令q＝1；

4.3如果q≤Q，转4.3.1预测查询关系r_q下所有补全样本属于事实的概率，否则说明所有查询关系下的补全样本均已预测，转4.4；

4.3.1从R_Q中取出查询关系r_q，根据r_q选择第三步中训练好的事实预测网络

4.3.2从U、U^r、U′^r、U^A、U^L、U′^A、U′^L中取出关于查询关系r_q的补全数据U_q、

4.3.3令U_q对应的补全样本的预测概率集合为

4.3.4使用训练好的事实预测网络预测U_q中所有样本属于事实的概率，得到U_q中所有样本属于事实的预测概率集合Z_q，方法是：

4.3.4.1令批处理次数b＝1，令已预测补全样本的数目predictednum＝0；

4.3.4.2如果转4.3.4.2.1对U_q中第b个batch的补全数据进行预测，否则说明已经对U_q中的所有补全样本进行预测，转4.3.5；

4.3.4.2.1事实预测网络的嵌入层从U_q读取C_u个样本作为第b个batch的补全数据，即一个批次的补全数据，记为样本补全批次集合其中C_u＝min(batchsize，|U_q|-predictednum)；从中取出与U_q，b的这C_u个样本对应的数据，分别记为正向路径关系序列补全批次集合反向路径关系序列补全批次集合正向路径实体属性信息序列补全批次集合和正向路径实体类型信息序列补全批次集合反向路径实体属性信息序列补全批次集合和反向路径实体类型信息序列补全批次集合

4.3.4.2.2采用步骤3.6.2.2.2中所述的事实预测网络预测方法f_predict，对第b个batch的补全数据和查询关系r_q、查询关系的反关系r′_q进行计算，得到第b个batch经过训练好的事实预测网络预测得到的补全数据的预测概率集合其中是该批次数据中样本的预测概率；

4.3.4.2.3事实补全模块从事实预测网络接收批次数据的预测概率集合将加入到r_q下的补全样本的预测概率集合Z_q中，即令

4.3.4.2.4令predictednum＝predictednum+C_u，b＝b+1，转4.3.4.2；

4.3.5将Z_q作为元素加入到所有补全样本的预测概率集合中，即Z＝Z∪{Z_q}；

4.3.6令q＝q+1，转4.3；

4.4根据U的预测概率集合Z，Z＝{Z₁，...，Z_q，...，Z_Q}，判断样本是否是需要补全的事实，得到补全后的知识图谱，具体地：

4.4.1将补全后的知识图谱的事实集合记为F_new，令F_new＝F；

4.4.2设置阈值δ，令q＝1；

4.4.3如果q≤Q，则转4.4.4补全查询关系r_q下的缺失事实，否则说明所有查询关系下的缺失事实均已补全，转4.5；

4.4.4令w＝1；

4.4.5如果w≤|U_q|，则转4.4.6判断补全样本u_w是否为缺失事实，否则说明查询关系r_q下的缺失事实均已补全，转4.4.8；

4.4.6U_q中第w个样本u_w代表三元组u_w的预测概率为Z_q中的第w个预测概率z_w，若预测概率z_w≥δ，则在用户提供的知识图谱中将实体和使用r_q连接，即将添加到事实集合F_new中，

4.4.7令w＝w+1，转4.4.5；

4.4.8令q＝q+1，转4.4.3；

4.5将用户提供的知识图谱中的事实集合F更新为F_new，即完成了对用户提供的知识图谱的补全。