[发明专利]一种用于人物实体库的文本相似度实体消歧方法和系统

说明书

本发明公开了一种用于人物实体库的文本相似度实体消歧方法和系统，所述方法包括如下步骤：获取待消歧实体，根据待消歧实体从知识库中捞取候选实体；用余弦相似度粗召回与待消歧实体相似的候选实体；采用Bi‑LSTM模型计算待消歧实体和候选实体的文本相似度，分别采用Bi‑LSTM模型对所述待消歧实体和候选实体分别进行特征提取，获取待消歧实体文本序列表征和候选实体的文本序列表征；分别计算所述待消歧实体文本序列表征和候选实体的文本序列表征的特征向量，并将相同类型实体的文本序列表征和特征向量融合，根据所述待消歧实体和候选实体的特征向量融合结果计算文本相似度。

技术领域

本发明涉及人工智能领域，特别涉及一种用于人物实体库的文本相似度实体消歧方法和系统。

背景技术

实体消歧对于实体库构建有着重要的意义。获取待消歧实体之后，通过实体消歧，判别待消歧实体是否与库中实体一致，从而选择相应的入库流程。将消歧后的实体放在实体库中，后续可以根据实体库中的实体构建搜索、推荐等相关应用。目前实体消歧的流程为：(1)根据指定数据源获取待消歧实体(通常数据源来自于爬虫)。(2)根据待消歧实体名称，获取实体库中的候选实体。(3)进行信息比对，从而对待消歧实体是否与实体库中的候选实体匹配作出判断。(4)根据比对结果，选择对应结果的实体注册流程。现有的人物实体消歧方案中，通常使用实体信息中的性别、党派信息、职业等信息，使用是否匹配等规则，判断与待消歧实体匹配的候选实体。如果所有候选实体都无法与待消歧实体进行匹配，待消歧实体进入注册流程。如果有相应候选实体匹配上待消歧实体，那么待消歧实体不进入注册流程。如果消歧算法无法确定，那么待消歧实体进入人工确认注册流程。

上述现有技术中的实体消歧的召回率较低，由于实体信息通常不全，使得消歧实体和候选实体的比较过程难以展开。另外实体信息限制过于宽泛，使得消歧过程难以展开。现有的实体消歧基于实体库的质量，若实体库的质量不高，则多种实体信息结合进行实体消歧时会产生大量的错误。

发明内容

本发明其中一个发明目的在于提供一种用于人物实体库的文本相似度实体消歧方法和系统，所述方法和系统基于文本相似度对简历实体进行消歧，可以获取更准确的实体信息。

本发明另一个发明目的在于提供一种用于人物实体库的文本相似度实体消歧方法和系统，所述方法和系统通过文本相似度和粗召回相结合的方式进行实体消歧，在消歧的过程中可以更好地利用简历信息，解决了传统技术方案中难以利用长文本信息的缺陷，并提高实体消歧的性能。

本发明另一个发明目的在于提供一种用于人物实体库的文本相似度实体消歧方法和系统，所述方法和系统通过对爬取的简历文本信息进行预处理，预处理的的工作包括对文本信息进行分词，去除停用词和去除无意义词等操作，用于获取干净的字词级别的语料数据，可提高实体消歧的成功率。

本发明另一个发明目的在于提供一种用于人物实体库的文本相似度实体消歧方法和系统，所述方法和系统通过定期增量训练来保障实体消歧模型的准确性。

为了实现至少一个上述发明目的，本发明进一步提供一种用于人物实体库的文本相似度实体消歧方法，所述方法包括如下步骤：

获取待消歧实体，根据待消歧实体从知识库中捞取候选实体；

对待消歧实体和候选实体的人物实体简历文本计算word2vec向量，用word2vec向量对计算余弦相似度分数，设置余弦相似度阈值，粗召回与待消歧实体余弦相似度分数大于所述余弦相似度阈值的候选实体；

采用Bi-LSTM模型计算待消歧实体和候选实体的文本相似度，分别采用Bi-LSTM模型对所述待消歧实体和候选实体分别进行特征提取，获取待消歧实体文本序列表征和候选实体的文本序列表征；

分别计算所述待消歧实体文本序列表征和候选实体的文本序列表征的特征向量，并将相同类型实体的文本序列表征和特征向量融合；