[发明专利]一种数据去重的方法及装置

权利要求书

1.一种数据去重的方法，其特征在于，包括：

获取待处理数据的信息-摘要算法MD5值和对应的数据标识；

将所述MD5值和所述数据标识组成所述待处理数据的键值对；

比对所述待处理数据的键值对中的MD5值和已有数据的键值对中的MD5值；

如果所述待处理数据的键值对中的MD5值和已有数据的键值对中的MD5值相同，则删除所述待处理数据，并确定与所述待处理数据重复的已有数据的数据标识。

2.根据权利要求1所述的方法，其特征在于，在删除所述待处理数据之后，还包括：

将待处理数据的键值对与所述待处理数据重复的已有数据的键值对保存在重复统计库中。

3.根据权利要求1所述的方法，其特征在于，还包括：

如果所述待处理数据的键值对中的MD5值和已有数据的键值对中的MD5值不同，则将所述待处理数据和对应的数据标识存入数据库；

保存所述待处理数据的键值对到已有数据的键值对中。

4.根据权利要求1-3任一所述的方法，其特征在于，获取待处理数据的MD5值和对应的数据标识包括：

按行读取待处理数据；

计算所述待处理数据的MD5值；

根据读取时间和/或读取待处理数据时的线程号，生成所述待处理数据的数据标识。

5.根据权利要求4所述的方法，其特征在于，计算所述待处理数据的MD5值包括：

如果所述待处理数据中包含预设忽略数据，则将所述待处理数据去除所述预设忽略数据；

计算去除所述预设忽略数据后的待处理数据的MD5值，作为所述待处理数据的MD5值。

6.一种数据去重的装置，其特征在于，包括:

数据标识获取模块，用于获取待处理数据的MD5值和对应的数据标识；

键值对组成模块，用于将所述MD5值和所述数据标识组成所述待处理数据的键值对；

MD5值比对模块，用于比对所述待处理数据的键值对中的MD5值和已有数据的键值对中的MD5值；

重复数据确定模块，用于如果所述待处理数据的键值对中的MD5值和已有数据的键值对中的MD5值相同，则删除所述待处理数据，并确定与所述待处理数据重复的已有数据的数据标识。

7.根据权利要求6所述的装置，其特征在于，还包括：

键值对保存模块，用于在删除所述待处理数据之后，将待处理数据的键值对与所述待处理数据重复的已有数据的键值对保存在重复统计库中。

8.根据权利要求6所述的装置，其特征在于，还包括数据存储模块，具体用于：

如果所述待处理数据的键值对中的MD5值和已有数据的键值对中的MD5值不同，则将所述待处理数据和对应的数据标识存入数据库；

保存所述待处理数据的键值对到已有数据的键值对中。

9.根据权利要求6-8任一所述的装置，其特征在于，数据标识获取模块包括：

数据读取单元，用于按行读取待处理数据；

MD5值计算单元，用于计算所述待处理数据的MD5值；

数据标识生成单元，用于根据读取时间和/或读取待处理数据时的线程号，生成所述待处理数据的数据标识。

10.根据权利要求9所述的装置，其特征在于，MD5值计算单元具体用于：

如果所述待处理数据中包含预设忽略数据，则将所述待处理数据去除所述预设忽略数据；

计算去除所述预设忽略数据后的待处理数据的MD5值，作为所述待处理数据的MD5值。