[发明专利]一种基于文本信息增强实体嵌入的方法

说明书

本发明公开了一种基于文本信息增强实体嵌入的方法，包括预训练知识图谱嵌入模型，得到实体向量和关系向量；将实体向量和关系向量分别加载到实体嵌入矩阵和关系嵌入矩阵中，得到实体结构嵌入以及关系结构嵌入；预训练词向量模型，得到词向量；查询词嵌入矩阵，得到实体描述词向量和关系词向量；将实体描述词向量输入到BiLSTM网络中，在BiLSTM网络的输出层中引入点积注意力；对关系词向量取平均得到关系嵌入；将实体结构嵌入投影到关系空间，得到实体结构嵌入投影，再将实体描述嵌入和实体结构嵌入投影相加，得到实体嵌入。本发明利用网络安全知识库中附带的文本信息来增强实体的表示能力，进而提高实体链接预测的准确率。

技术领域

本发明涉及知识图谱补全技术领域，具体涉及一种基于文本信息增强实体嵌入的方法。

背景技术

由于国内外缺乏全自动构建知识图谱的技术，现今大多数知识图谱都是通过半自动的技术来构建，这就导致知识图谱的不完整，给诸如知识问答、网页搜索等知识图谱上层应用带来巨大挑战。知识图谱由众多节点和边构成，节点即为实体，边即为实体间存在的关系，将这些实体和关系映射到一个低维连续的向量空间的技术被称为知识表示学习。知识表示学习技术一般是利用事实三元组这一类结构信息来表示实体和关系，但由于知识图谱的稀疏和不完整，得到的实体和关系嵌入往往表示能力不强。最近，有学者将目光投放在知识库中附带的文本信息上，这一类文本包括实体描述、实体名称和实体类型等信息，并且有研究表明，这类文本信息能够帮助发现新的关系以及提供更精准的表示。

利用文本信息改进实体嵌入的技术一般包括了两个过程：对文本信息进行编码和利用文本嵌入对实体语义进行增强。以往文本信息编码大多是基于主题模型。然而，采用主题模型得到的文本嵌入包含较少的语义信息。随着近年来诸如Word2Vec、Glove、Transformer和BERT等词向量模型的发展，越来越多的研究选择词向量模型作为预训练模型，以获取包含更为丰富的语义信息的文本嵌入。因为词嵌入和知识图谱嵌入处于不同的向量空间，不能直接进行计算操作，所以利用文本嵌入对实体语义进行增强这一过程首先要将文本嵌入和知识图谱嵌入统一到同一个向量空间。目前，一些研究把实体或关系表示成文本嵌入的线性变换，具体来说，他们先将文本嵌入映射到实体的向量空间再与原始的实体嵌入相加。还有一些研究是设计一个对齐模型，把文本嵌入和实体嵌入对齐到同一个语义空间，从而将两者联合到一起。

由上述分析可知，要利用文本信息增强原有实体的表示能力必须将实体嵌入和文本嵌入统一到同一个语义空间。针对这一问题，一些现有技术是把生成的文本嵌入直接映射到实体的语义空间，这一做法可以将实体相关的语义提取出来，但忽略了关系语义。事实上，实体和关系之间存在相互作用，同一实体对于不同的关系而表现出不一样的属性。在一个事实三元组中，关系只关注头实体的某一属性，实体的其余属性对于该关系来说属于无关信息，所以从实体描述提取的信息应该是与关系相关的语义。还有一些做法是将实体描述投影到关系空间，得到实体描述嵌入，然后直接与原始的实体嵌入相加。这种做法只是增强了实体描述中与关系相关的部分，没有对实体的结构信息进行处理。由于文本嵌入和知识图谱嵌入处于两个不同的语义空间，如果直接相加可能会将一些无关的语义引入到原来的实体表示当中，反而会削弱原有的语义。因此，现有技术得到的实体表示大都比较片面

发明内容

本发明的目的是为了克服以上现有技术存在的不足，提供了一种提高实体链接预测的准确率的基于文本信息增强实体嵌入的方法。

本发明的目的通过以下的技术方案实现：

一种基于文本信息增强实体嵌入的方法，包括：

S1，采用网络安全数据集预训练知识图谱嵌入模型，得到实体向量和关系向量；将实体向量和关系向量分别加载到实体嵌入矩阵和关系嵌入矩阵中，分别得到实体结构嵌入e_s和关系结构嵌入r_s；

S2，预训练词向量模型，得到词向量；采用词向量初始化词嵌入矩阵；