[发明专利]基于产生式别名挖掘的知识图谱实体发现和链接方法

权利要求书

1.基于产生式别名挖掘的知识图谱实体发现和链接方法，其特征在于，包括以下步骤：

步骤A：实体别名挖掘，生成别名-实体映射词典；

步骤A包括以下步骤：

所述实体别名挖掘分为实体名识别和别名发现挖掘两个步骤；

针对大规模文本库D＝{d₁,d₂,…,d_N}，d表示文本库中的文档，N表示文档数目；实体名识别的目标是识别出每篇文档中一类或几类实体的名称，生成文档实体集合其中，表示第i篇文档d_i中识别出的实体指称项列表，M表示实体指称项，n_i为文档d_i中识别出的实体指称项数目；别名发现针对知识库中每一个实体E，根据该实体的已知实体名E_M，在文档实体集中找出该实体的其他名称集合，生成别名-实体映射词典；

子步骤A1：生成实体别名挖掘训练集；

将实体名的识别问题建模为一个分类问题；对于长度为n的文档d＝{c₁,c₂,…,c_n}，其中，c_i表示文档d中的第i个字符；对于文档d中的连续字符子串m＝c_i…c_j(1≤i<j≤n)，可以简写为(d,i,j)，其中n,i,j为正整数；若(d,i,j)能够表示一类实体，即候选实体指称项为该类实体，则输出1，否则输出0；基于上述问题定义，生成该分类问题的训练集的方法如下：

选取一类实体中流行度高且不会造成歧义的实体名集合，利用该集合的实体名在语料库的文档集D＝{d₁,d₂,…,d_N}中进行字符串匹配，将匹配的字符子串判别为实体指称项，从而产生训练集的正样本；同时，从语料库中按比例抽取句子，字符子串的位置根据正样本的位置随机选取，生成训练集的负样本；

子步骤A2：生成基于上下文的实体判别模型，并应用至大规模文本库中，识别各文档中的实体指称项，形成文档-实体集；

该子步骤提出了一个基于上下文的实体判别模型，利用上下文信息判断句子中的实体指称项是否指向一类实体别名；模型采用long short-term memory模型进行自动特征提取，Logistic层进行分类判别；所述long short-term memory模型简写为LSTM模型；

将要判别实体的句子作为判别模型的输入，该输入由句子中词语的两部分特征组成：句子中词本身的词义特征和词相对于实体指称项的位置特征；输入特征包含了实体指称项的上下文信息，通过两层LSTM模型处理后，再通过Logistic层，最后获得实体判别结果的输出；

该判别模型利用了上下文特征，用于实体判别，同时也作为后续候选实体指称项的上下文信息表征；

以及子步骤A3：在大规模文本库中进行别名挖掘；

所述子步骤A3包括：

针对知识库中的已知实体名E_M，在文档-实体集中检索出现该实体名的文档，计算该文档中的候选实体名的相关度值：

式中，表示候选实体名在文档-实体集中的频率，k为正整数，表示实体名E_M和共现的频率，Rel值大于阈值θ的候选实体名构成频繁集S_F，对知识库中的实体名构建Lucene索引，以为查询词在索引中进行检索，若检索结果中实体名E_M的相关度最高，则是实体名E_M的别名；

步骤B：基于改进的文本编辑距离的生成候选实体；

利用步骤A的别名-实体映射词典，对输入文本进行基于改进的文本编辑距离的候选实体生成；

在候选实体生成过程中，实体名与指称项之间存在编辑距离，以处理拼写错误；实体名中不同的字被写错或故意省略的概率是不相同的；

根据步骤A中挖掘的别名，产生一种新的编辑距离度量；对于实体的别名集合中，选择其中等长的实体名，将实体名中不同的部分记为一个相同的文字对；

设定文本编辑距离的阈值，从输入文本中选取与别名-实体字典中名称的编辑距离在该阈值范围内的字符子串，生成候选实体指称项；

以及步骤C：候选实体判别，获得候选实体指称项；

所述实体判别模型采用long short-term memory模型进行自动特征提取，Logistic层进行分类判别。

2.根据权利要求1所述的知识图谱实体发现和链接方法，其特征在于，包括以下步骤：步骤D：第二次候选实体生成，基于候选实体指称项，并增大允许的文本编辑距离重新执行步骤B及C。