[发明专利]近重复记录的相似度评估方法

摘要

本发明公开了一种近重复记录相似度评估方法，该方法包括：步骤一：对待消重的大数据集进行分块操作，得到许多较小的数据块；步骤二：针对每个数据块，初始化属性层和记录层的相似度；步骤三：如果未满足迭代停止条件，则使用记录层相似度去更新属性层相似度和使用属性层相似度去更新记录层的相似度；步骤四：输出属性层和记录层的相似度。本发明采用了迭代地在属性和记录层传播相似度，从而克服了现实生产中记录存在缺失值和噪音值的问题，更准确地评估记录间的相似度。本发明还是一个无监督的方法，克服了需要标注数据带来的成本，并且其输出还可以灵活地集成到一些现存的基于聚类的或者基于距离的消重系统框架中。

主权项

1.一种近重复记录相似度评估方法，其特征在于，包括如下步骤：步骤一：对待消重的大数据集进行分块操作，得到许多较小的数据块；步骤二：针对每个数据块，初始化属性层和记录层的相似度；步骤三：如果未满足迭代停止条件，则使用记录层相似度去更新属性层的相似度和使用属性层相似度去更新记录层的相似度；步骤四：输出属性层和记录层的相似度；其中：所述步骤三中更新属性层相似度和更新记录层的相似度操作包括如下步骤：步骤a1：检查迭代停止条件，如果满足条件，转到本方法的步骤四，否则继续以下步骤；步骤a2：查找相似的属性簇并找到相关的记录，将记录间的相似度添加到计算属性层相似度的过程中；步骤a3：查找相似的记录簇，使用更新的属性相似度和相似记录间的相似度去更新记录间相似度，转到步骤a1；其中：更新属性层相似度使用如下表达式：式中，和为第i，j个记录的第k个属性，为传统属性相似度计算方式，为记录层反馈相似度，α∈[0,1]是一个权衡参数，用于决定传统相似度和反馈相似度的相对重要性，的计算如下：式中，为属性的相似属性集合，为属性的相似属性集合；为第i，j个记录的第k个属性的相似度；更新记录层相似度使用如下表达式：s(ri,rj)＝βT(ri,rj)+(1‑β)G(ri,rj)式中，T(ri,rj)为传统记录相似度计算方式，G(ri,rj)为相似记录的反馈相似度，β∈[0,1]是一个权衡参数，用于决定传统相似度和反馈相似度的相对重要性，G(ri,rj)的计算方法如下：式中，N(ri)为记录ri的相似记录集合，N(rj)为记录rj的相似记录集合。