[发明专利]单一实体实例的挖掘方法和装置

说明书

本发明提供了一种单一实体实例的挖掘方法和装置。其中，方法包括：抓取来自于多个数据来源、包含特定类型实体对应实体实例的页面；分别抽取所述页面中包括的实体实例的实体名、属性名和属性值；针对同名实体的实体实例集合，按照所述同名实体对应的具有单一区分度的属性名下的属性值的分布熵指标，将所述集合中描述同一实体的实体实例合并成所述同一实体的单一实体实例；所述同名实体为实体名相同的实体实例。本发明最终合并得到的单一实体实例描述的即为同一实体，挖掘结果较为准确，因此采用上述单一实体实例构建的知识库更加准确，进而使后续用户查询知识库时的查询结果也更加准确，提升用户体验。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种单一实体实例的挖掘方法和装置。

背景技术

知识库是知识工程中结构化、易操作、易利用、全面有组织的知识集群，是针对某一(或某些)领域问题求解的需要，采用某种(或若干)知识表示方式在计算机存储器中存储、组织、管理和使用的互相联系的知识片集合。这些知识片包括与领域相关的理论知识、事实数据，由专家经验得到的启发式知识，如某领域内有关的定义、定理和运算法则以及常识性知识等。

在建立知识库之前，需要通过领域知识，建立该领域里内统一的数据架构，该数据架构用来描述领域内知识的整体架构，一般来说数据架构可以以实体为单位来进行描述。制定好以实体为单位的结构之后，将每个实体对应的实体实例信息规范到该实体对应的数据架构下，实体实例信息包括实体名、属性名、属性值等，这些数据经过处理之后，得到提供服务的结构化数据组成知识库。

但是，在真实世界中存在很多实体名相同但实际不同的实体，如果基于实体名对实体进行区分，将实体名相同的实体实例作为同一实体对应的实体实例，则可能会将实际上为不同实体的实体实例作为同一实体对应的实体实例，因此现有采用上述实体对应的实体实例构建的知识库不准确，进而导致后续用户查询知识库时的查询结果不准确，影响用户体验。

发明内容

本发明提供一种单一实体实例的挖掘方法和装置，以解决现有方法中描述同一实体的实体实例不准确，导致构建的知识库不准确，进而导致后续用户查询知识库时的查询结果不准确，影响用户体验的问题。

为了解决上述问题，本发明公开了一种单一实体实例的挖掘方法，包括：

抓取来自于多个数据来源、包含特定类型实体对应实体实例的页面；

分别抽取所述页面中包括的实体实例的实体名、属性名和属性值；

针对同名实体的实体实例集合，按照所述同名实体对应的具有单一区分度的属性名下的属性值的分布熵指标，将所述集合中描述同一实体的实体实例合并成所述同一实体的单一实体实例；所述同名实体为实体名相同的实体实例。

优选的，所述同名实体对应的具有单一区分度的属性名为预设的；

或者，通过以下步骤确定所述同名实体对应的具有单一区分度的属性名：比较所述同名实体下的不同实体实例之间，各个相同属性名下的属性值的相同程度；将属性值相同程度超过第一设定阈值的属性名判定为所述同名实体对应的具有单一区分度的属性名。

优选的，所述针对同名实体的实体实例集合，按照所述同名实体对应的具有单一区分度的属性名下的属性值的分布熵指标，将所述集合中描述同一实体的实体实例合并成所述同一实体的单一实体实例的步骤，包括：

针对所述同名实体的实体实例集合，按照所述同名实体对应的具有单一区分度的属性名下的属性值的分布熵指标，将所述集合划分为至少两个子集；将每个子集中的实体实例，合并得到所述同一实体的单一实体实例。

优选的，所述针对所述同名实体的实体实例集合，按照所述同名实体对应的具有单一区分度的属性名下的属性值的分布熵指标，将所述集合划分为至少两个子集的步骤，包括：