[发明专利]基于CN-DBpedia的实体识别与链接系统和方法

摘要

本发明公开了一种基于CN‑DBpedia的实体识别与链接系统和方法。该系统包括实体链接模块和实体识别模块；实体链接模块包括同义词匹配单元和实体链接单元；实体识别模块包括分词器、词概率计算单元和实体判别单元。本发明构建了实体与词语的语义关系，从而能在极少的上下文中挖掘到与实体的关系。本发明将基于机器学习的实体识别算法与非监督的分词算法融合。能从全局性的角度考虑实体名划分的合理性，又扩展了分词的词表空间，以更加合理的算法计算实体词的成词概率。本发明先链接再识别，使得实体识别时充分利用到了文本的语义信息，实现更好的分词与实体识别。

主权项

1.一种基于CN‑DBpedia的实体识别与链接系统，其特征在于，其包括实体链接模块和实体识别模块；其中：所述实体链接模块，用于检测出输入文本序列中所有可能的实体，并根据实体知识与上下文语义计算出每个位置出现每个实体的概率；实体链接模块包括同义词匹配单元和实体链接单元；同义词匹配单元利用CN‑DBpedia的同义词词库匹配文本中所有可能表示实体的子段，即实体同义词，并生成所有的候选实体；实体链接单元根据候选实体的本身特征以及与输入文本序列的匹配度，为每一个实体同义词对应每个实体的可能性进行计算，完成初步的实体链接；所述实体识别模块，对序列做出概率最大的划分并最终判决出划分中的实体；实体识别模块包括分词器、词概率计算单元和实体判别单元；分词器利用词概率单元计算每个子段成词概率，然后求出概率最大的划分；实体判别单元计算分词子段是实体的概率并输出实体判别结果，词概率计算单元根据实体判别单元的返回结果对普通词语与实体词语的成词概率分别进行计算，最后将经过划分的文本序列以及其中识别的实体结果输出，实体链接到CN‑DBpedia中。