[发明专利]海量数据实体相似对确定方法和系统

权利要求书

1.海量数据实体相似对确定方法，其特征在于，包括以下步骤：

对数据根据相同属性值进行实体初步聚类；根据实体聚类结果确定初选相似实体对；计算初选相似实体对在所有属性下的总相似度，将获得的总相似度与预先确定的相似度阈值进行比较，获得确定的相似实体对集合。

2.根据权利要求1所述的海量数据实体相似对确定方法，其特征在于，对数据根据相同属性值进行实体初步聚类包括：对原始数据库文件进行预处理后根据属性进行聚类，后输出各个属性的属性索引表。

3.根据权利要求2所述的海量数据实体相似对确定方法，其特征在于，对数据根据相同属性值进行实体初步聚类具体方法采用1次基于Map-Reduce的并行算法，包括：

Map部分执行以下步骤：对各个实体的各属性进行预处理，设置基于语义的数据变换函数以使得识别特定的属性值，构造属性索引表SE_h：将具有相同属性值A_ij的实体插入SE_h中A_ij对应位置下，其中SE_h为属性索引表，A_ij为第j个属性，以属性值A_ij作为关键字key，具有该属性值的实体E_k为值value，进行映射；依据值key聚合所有具有相同属性值的实体，输出为：key＝A_ij，value＝E_i；

Reduce部分执行以下步骤：

输入key＝A_ij，value＝E_i，输出属性索引表SE_h的属性索引表集合SE，SE_h表示为：

A_ij，E_m，E_n，……，A_ik，E_p，E_q，……，……，其中A_ij、A_ik为属性，E_m，E_n，E_p，E_q为实体。

4.根据权利要求3所述的海量数据实体相似对确定方法，其特征在于，根据实体聚类结果确定初选相似实体对的具体方法包括：输入属性索引表集合SE，对遍历其相应属性索引表SE_m；

对若该属性对应的实体个数小于2，则跳过该属性；否则将实体对聚集获得初选相似实体对，包括：分别统计每个实体及每个实体对出现的次数；根据同时出现在实体对中的第一个实体进行聚集；根据同时出现在实体对中的第二个实体进行聚集。