[发明专利]近重复记录的相似度评估方法

说明书

本发明公开了一种近重复记录相似度评估方法，该方法包括：步骤一：对待消重的大数据集进行分块操作，得到许多较小的数据块；步骤二：针对每个数据块，初始化属性层和记录层的相似度；步骤三：如果未满足迭代停止条件，则使用记录层相似度去更新属性层相似度和使用属性层相似度去更新记录层的相似度；步骤四：输出属性层和记录层的相似度。本发明采用了迭代地在属性和记录层传播相似度，从而克服了现实生产中记录存在缺失值和噪音值的问题，更准确地评估记录间的相似度。本发明还是一个无监督的方法，克服了需要标注数据带来的成本，并且其输出还可以灵活地集成到一些现存的基于聚类的或者基于距离的消重系统框架中。

技术领域

本发明涉及到大数据下近重复记录识别技术，涉及到记录间相似度的评估方法。

背景技术

在大数据时代下，集成各种各样不同来源的数据是产生数据价值最基础的一环，而对近重复记录识别的消重工作是最核心的步骤。通常，一个记录通常由多个属性值构成，现有的识别方法主要可以归为以下几类：(1)基于概率匹配的方法，该方法使用条件独立假设或者广义的期望最大化(EM,Expectation Maximization)算法来推断单个记录对之间是否匹配的概率，每个观察值就是记录中属性的值；(2)基于距离的方法，它使用不同的相似度度量去计算属性层之间的相似性并通过为属性设置不同的权重来获得记录间的相似度，然后使用一个适当的匹配阈值去判断记录是否一样；(3)基于机器学习的方法，该方法从记录数据中抽取相似度特征，然后使用机器学习方法去学习如何匹配记录；(4)基于聚类的方法，它使用记录的相似矩阵把记录归入到不同的簇中，而在同一个簇中的记录则认为是近似重复记录或者潜在的近似重复记录；上述这些方法其实质上是计算记录的各属性的相似性度，为了克服一词多写，错写等情况，许多高容忍度的属性相似度度量方式被提出，例如，针对声音匹配的Soundex相似度度量。然而，每种方法都只针对特定的变量类型较为有效，对于缺失值或者噪声值的处理效果不好，尤其是互联网上的数据。

发明内容

本发明的目的是针对现有技术的不足而提供的一种近重复记录相似度评估方法，该方法使用了属性间和记录间相似度相互传播的方法来评估记录间潜在的相似度，提升相似度评估的准确性，克服了缺失值，噪音值等无法修正错误所带来的影响。

实现本发明目的的具体技术方案是：

一种近重复记录相似度评估方法，包括如下步骤：

步骤一：对待消重的大数据集进行分块操作，得到许多较小的数据块；

步骤二：针对每个数据块，初始化属性层和记录层的相似度；

步骤三：如果未满足迭代停止条件，则使用记录层相似度去更新属性层相似度和使用属性层相似度去更新记录层的相似度；

步骤四：输出属性层和记录层的相似度。

本发明提出所述的近重复记录相似度评估方法中，步骤一中的分块操作包括以下步骤：

步骤a1：评估记录属性字段的重要性，可以人工设定每个属性的重要性或者使用自动化的方式设定，选取一个或者多个属性作为关键属性；

步骤a2：根据关键属性，使用合并聚类(agglomerative clustering)来对记录进行快速聚类，每一簇的数据划分成为一个数据块。

本发明提出所述的近重复记录相似度评估方法中，步骤二中的初始化包括以下步骤：

步骤b1:选择合适的相似度度量函数来计算属性的相似度，如果属性值存在缺失，则使用其他属性值对的相似度来评估该属性对的相似度；

步骤b2：根据上一步计算出来的属性相似度，计算记录间的相似度。

本发明提出所述的近重复记录相似度评估方法中，步骤三中更新属性层和记录层的相似度操作包括以下步骤：