[发明专利]一种全网实体关联方法及系统

说明书

本发明公开了一种全网实体关联方法及系统，其中所述方法包括从全网网页库中获取网页数据，提取所述网页数据的标题及正文；根据所述网页数据的标题及正文生成所述网页对应的实体关联结果；将所述实体关联结果回灌到所述全网网页库中。应用本发明所述方案，能够对全网实体数据进行解析，并将解析得到的实体同知识库进行关联。支持大规模的网页库，提高了实体关联的准确率和召回率。

【技术领域】

本发明涉及计算机应用技术，特别涉及全网实体关联方法及系统。

【背景技术】

互联网网页中存在大量的实体，大部分网页本身并没有这些实体的说明，为了帮助人们更好的理解网页内容，很多网站往往会把网页中的实体链接到相应知识库上，为读者提供更详尽的背景材料，这种做法实际上将网页和知识库建立了链接关系。这种链接技术一般称为实体关联。

这样将网页和知识库建立链接关系，一方面可以辅助知识库的构建，比如在实体链接的基础上从网页中挖掘实体间的关系用来构建知识库，另一方面，也可以支持网页搜索等相关应用。

目前，在网页的基础上对实体进行扩展的方式通常是对网页文本中的实体直接匹配来获取对应的实体解释信息，其准确率及召回率较低，无法达到全网实体解析及关联的要求。同时，也无法对大规模的网页库(百亿级别)进行全网实体解析及关联。

【发明内容】

本申请的多个方面提供了全网实体关联方法、系统、设备及存储介质，能够支持大规模的网页库，提高了实体关联的准确率和召回率。

本申请的一方面，提供一种全网实体关联方法，包括以下步骤：

从全网网页库中获取网页数据，提取所述网页数据的标题及正文；

根据所述网页数据的标题及正文生成所述网页对应的实体关联结果；

将所述实体关联结果回灌到所述全网网页库中。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述网页数据的标题及正文生成所述网页对应的实体关联结果包括：

确定所述标题中的实体；从所述正文中提取所述实体的上下文信息；

从知识库中确定所述实体对应的实体描述信息；

计算所述实体的上下文信息与所述实体对应的实体描述信息之间的相似度；

基于所述相似度，生成所述网页对应的实体关联结果。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述将所述实体关联结果回灌到所述全网网页库中包括：

利用所述实体对应的实体描述信息对所述正文中的实体进行关联。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述网页数据的标题及正文生成所述网页对应的实体关联结果包括：

判断所述网页的实时性；

对实时性低于或等于阈值的网页，进行批量刷库；

对于实时性高于阈值的网页，进行流式刷库。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述批量刷库包括：

采用Hadoop机制，根据所述网页数据的标题及正文生成与所述网页对应的实体关联结果。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述流式刷库包括：

采用网格计算系统，根据所述网页数据的标题及正文生成所述网页对应的实体关联结果.

本申请的另一方面，提供了一种全网实体关联系统，包括：