[发明专利]基于CN-DBpedia的实体识别与链接系统和方法

权利要求书

1.一种基于CN-DBpedia的实体识别与链接的方法，其特征在于，其基于CN-DBpedia的实体识别与链接系统进行实体链接和实体识别，所述基于CN-DBpedia的实体识别与链接系统包括实体链接模块和实体识别模块；

所述实体链接模块，用于检测出输入文本序列中所有可能的实体，并根据实体知识与上下文语义计算出每个位置出现每个实体的概率；

实体链接模块包括同义词匹配单元和实体链接单元；同义词匹配单元利用CN-DBpedia的同义词词库匹配文本中所有可能表示实体的子段，即实体同义词，并生成所有的候选实体；实体链接单元根据候选实体的本身特征以及与输入文本序列的匹配度，为每一个实体同义词对应每个实体的可能性进行计算，完成初步的实体链接；

所述实体识别模块，对序列做出概率最大的划分并最终判决出划分的实体；

实体识别模块包括分词器、词概率计算单元和实体判别单元；分词器利用词概率计算单元计算每个子段成词概率，然后求出概率最大的划分；实体判别单元计算分词子段是实体的概率并输出实体判别结果，词概率计算单元根据实体判别单元的返回结果对普通词语与实体词语的成词概率分别进行计算，最后将经过划分的文本序列以及其中识别的实体结果输出，实体链接到CN-DBpedia中；

该方法包括如下步骤：

实体链接的步骤：首先同义词匹配单元利用CN-DBpedia的同义词库匹配文本中所有可能表示实体的子段，即实体同义词，并生成所有的候选实体；然后实体链接单元根据候选实体的本身特征以及与输入文本序列的匹配度，为每一个实体同义词对应每个实体的可能性进行计算，完成初步的实体链接；

实体识别的步骤：分词器利用词概率计算单元计算每个子段成词概率，然后求出概率最大的划分；实体判别单元计算分词子段是实体的概率并输出实体判别结果；词概率计算单元根据实体判别模块的返回结果对普通词语与实体词语的成词概率分别进行计算，最后将经过划分的文本序列以及其中识别的实体结果输出，实体链接到CN-DBpedia中；其中：实体链接的步骤具体如下：

定义CN-DBpedia中的实体集E＝{e_i}，实体同义词表A＝{(a_i，e_i)}，同时定义A(a)＝{e_i|(a，e_i)∈A}；输入文本序列S＝s₁，s₂...s_n，其中每个元素s_i为一个中文字符，s_i，j＝s_is_i+1...s_j表示序列S从i至j的子段，

对于输入序列S，检测出所有候选实体同义词以及其对应候选实体C(S)＝{(m，e_k)|m＝(i，j)and(s_i，j，e_k)∈A}，计算每个候选实体e在特定位置m实体同义词的条件概率：

其中t为实体的目录标签，即概念；pop(e)为实体e的普及度，由实体被浏览和引用的次数计算；是一个依赖于m的项，对于同一个m为定值，简写成正规化项Z；ct(S，m)＝s_1，i-1s_j+1，|S|为m＝(i，j)的上下文；又有

p(t|ct(S，m))＝∑_w(p(t|w)*p(w|ct(S，m)))

其中p(w|ct(S，m))为词w出现在m上下文的概率，则有

为词w对m的影响函数，则有分母为一个依赖于m的定值，与前同理简写成正规化项Z′；

又由知识库的目录关系，计算出

w(e，t)为实体e与概念t的权值；

由贝叶斯定理计算出

同理，算出条件概率p(t|w)

n(t，w)为词w在概念t下的出现次数，即词w在概念t下所有实体描述里出现次数，因此，结合上述所有公式，算出每个候选实体e在特定位置m实体同义词的条件概率：

2.根据权利要求1所述的方法，其特征在于，实体识别的步骤中，融合分词算法对句子生成包括实体名在内的所有可能成词情况进行概率最大的划分；利用实体识别算法筛选掉非实体词，最后对判定成实体的词语进行概率的计算。