[发明专利]一种用于实体匹配的方法及系统

说明书

本申请提供了一种用于实体匹配的方法及系统，该方法包括：将待匹配实例对从预先训练的决策树的根节点对应的属性开始进行访问，获取所述待匹配实例对的各属性的属性相似度和置信度；利用所述属性相似度和所述置信度，结合调整系数计算并输出所述待匹配实例对的实体相似度；将所述实体相似度与预设实体相似度阈值进行对比，判断所述待匹配实例对的相似性；其中，所述决策树是利用由已知的匹配实体组成的实例对中共同的非主属性集合和/或主属性集合训练获得。该方法通过利用已知的实例对中两个实体共同的非主属性集合和/或主属性集合训练获得决策树，在进行实体匹配的过程中考虑了非主属性的作用，提高了实体匹配的准确率和召回率。

技术领域

本申请涉及数据库技术领域，尤其涉及一种用于实体匹配的方法及系统。

背景技术

在信息化不断发展的当今社会，每天都有各种各样的信息涌入我们的生活。然而，在这些信息当中不乏那些重复的信息，这不仅导致了信息的冗余，而且极有可能带来数据不一致的问题。

数据表中包含着多个实体，在两个数据表中可能存在相同的实体，这两个实体构成一个实例对表示同一个实体。由于这些实例可能以不同的方式表示，也可能在涵盖信息的广度上有所不同，使得在进行信息整合时无法较好的识别出这些相同的实体，不仅耗时耗力，而且效率低下，因此需要找出这些实例对，对它们加以识别，以便于信息的融合。

现有的大量实体匹配方法都是依赖于实体的主属性的值，通过对字符串相似度计算来度量实体的相似度，并根据预先定义好的相似度阈值与计算所得的相似度比较决定实例对是否匹配。然而，由于躁数据和空缺值(指数据表中某一行下的某一属性的值为空)的影响，这种武断地设定阈值的方式既会影响到实体匹配的准确率也会影响其召回率。同时，由于主属性表达方式的千差万别，导致对于那些主属性相似度较低的实例对在现有的方法下无法准确的对匹配结果加以判断，甚至导致误匹配问题。

发明内容

有鉴于此，本申请提供了一种用于实体匹配的方法及系统，以克服现有技术中在进行实体匹配时单纯依赖主属性值影响实体匹配的准确率和召回率的问题。

为实现上述目的，本申请提供以下技术方案：

一种用于实体匹配的方法，该方法包括：

将待匹配实例对从预先训练的决策树的根节点对应的属性开始进行访问，获取所述待匹配实例对的各属性的属性相似度和置信度；

利用所述属性相似度和所述置信度，结合调整系数计算并输出所述待匹配实例对的实体相似度；

将所述实体相似度与预设实体相似度阈值进行对比，判断所述待匹配实例对的相似性；

其中，所述决策树是利用由已知的匹配实体组成的实例对中共同的非主属性集合和/或主属性集合训练获得。

优选的，所述将待匹配实例对从预先训练的决策树的根节点对应的属性开始进行访问，获取所述待匹配实例对的各属性的属性相似度和置信度包括：

将所述待匹配实例对对所述决策树的根节点对应的属性进行访问，得到根节点对应属性的置信度，并计算所述待匹配实例对根节点对应属性的属性相似度；

根据所述根节点对应属性的属性相似度与预设属性相似度阈值的大小确定叶节点，并将所述待匹配实例对对所述叶节点对应的属性进行访问，得到当前叶节点对应属性的置信度，并计算所述待匹配实例对当前叶节点对应属性的属性相似度；

根据所述当前叶节点对应属性的属性相似度与预设属性相似度阈值的大小确定下一级叶节点继续进行访问，直至叶节点的顶端，获取所述待匹配实例对的各属性的属性相似度和置信度。

优选的，所述决策树的预先训练方法包括：

选取由已知的匹配实体组成的实例对构成第一训练样本集；