[发明专利]对长文本友好的知识图谱表示学习方法

权利要求书

1.对长文本友好的知识图谱表示学习方法，其特征在于，包括如下步骤：

步骤一：长文本友好的文本信息抽取；

1)针对三元组(h,r,t)的关系r，通过从语料库中抽取同时包含三元组中头实体h、尾实体t的全部句子，作为候选关系提及；

2)通过向量空间模型来计算其相似性，假设m表示候选关系提及集，r是对应的关系集，Vm代表提及集的空间向量表示，Vr代表关系集的向量表示，然后可以用余弦距离表示两者之间的相似度；计算方法如公式1所示：

3)在语义级别上对相似性进行进一步过滤，将CNN和Skip-gram联合起来，来对语义向量中的候选关系提及句子进行建模，使用两个并行的CNN模型来学习候选关系中提到的句子的向量表示，并使用平均词嵌入方法来学习该关系的向量表示；通过公式2计算两者之间的相似性；如果相似度超过设置的阈值ε，则将该句子作为关系的确切文本提及

sim(m,r)＝cos(V_m,V_r) (2)；

步骤二：BCRL的文本表示模型；

1)本文标识模型的总体框架：首先由BERT模型生成句子序列向量，然后将这些句子级别的特征向量输入到卷积神经网络中以形成最终的整体文本向量；此外，将注意力机制和位置编码添加到CNN中，以进一步丰富实体描述的文本表示形式；

2)使用基于关系的注意力机制来获得实体文本表示：公式3给出实体描述的基于关系的注意力机制；假设卷积层的输出为q，则将基于关系的注意力机制的输出定义为可以将其用作池化层的输入；

α(r)＝Softmax(v_1:nr_d) (3)；

3)实体文本表示中的句子层位置编码：将句子位置编码为位置向量γ_i，然后通过加法将句子向量v_i组合成新的向量C_i；采用Vaswani提出的方法计算位置向量γ_i，如公式4和公式5所示，γ_i是使用不同频率的位置pos上的正弦和余弦函数生成的；pos对应于输入位置，d是位置向量的维数；

γ(pos,2i)＝sinpos/10000^2i/d (4)

r(pos,2i+1)＝cospos/10000^2i/d (5)

给定一个句子序列向量v₁：n＝v₁,…,v_n，其位置向量γ₁：_n＝(γ₁,…,γ_n)，添加位置信息后CNN的新输入为C_1：n＝(v₁+γ₁,…,v_n+γ_n)；

步骤三：基于TransE的结构化表示，给定一个三元组(头实体，关系，尾实体)，将其表示为(h，r，t)；三元组(h，r，t)的对应向量表示为(h，r，t)；TransE旨在将实体和关系表示为低维连续向量；合法的三元组向量应满足公式h+r≈t，而错误的三元组不满足；因此，TransE定义了以下得分函数来测量三元组的质量，如公式6所示；

公式6是向量h+r与t之间的L₁或L₂距离；对于合理的得分函数，合法三元组的得分低于错误三元组的得分；

步骤四：结构-文本联合标识：采用Xu等提出的门机制来融合从TransE中学习的结构信息和文本信息，即将联合表示Vj当作结构表示V_s和文本表示V_d加权求和的结果；联合表示的定义如公式7、8所示；其中，g_s和g_d是平衡两种信息源的门，⊙为元素乘法；

V_j＝g_s⊙V_s+g_d⊙V_d (7)

s.t.g_d＝1-g_s；g_s,g_d∈[0,1] (8)

步骤五：模型训练：根据TransE，采用最大间隔方法用于训练模型；公式9给出了三元组(h，r，t)的损失函数，其中f是模型的得分函数，γ0是正例、负例之间的区间距离，D知识图谱中有效三元组集合，是不在知识图谱中的无效三元组的集合；

将关系按照两端连接实体的数目分为1-1、1-N、N-1以及N-N四种不同类型，若是1-N关系增大替换头实体的机会，若是N-1关系则增大替换尾实体的机会，这样能有效提升模型训练效果；对于每一个三元组一个有效三元组(h,r,t)相应的无效三元组定义为