[发明专利]海量结构化数据中的重复数据检测方法和系统

权利要求书

1.一种海量结构化数据中的重复数据检测方法，其特征在于，包括如下步骤：

分别获取海量结构化数据中各个结构化数据的哈希码，根据所述哈希码识别海量结构数据中的重复数据和非重复数据，将所述重复数据保存在第一数据集合，将所述非重复数据保存在第二数据集合；

将所述第一数据集合的结构化数据以及第二数据集合的结构化数据分别发送至分布式集群中不同的计算节点；

在所述计算节点进行第二数据集合中各个结构化数据中与分布式集群的本地数据之间的重复性检查，若识别到第二数据集合中的结构化数据与本地数据相重复，则将该结构化数据从第二数据集合移动至第一数据集合；

将所述第一数据集合内的结构化数据确定为海量结构化数据中的重复数据。

2.根据权利要求1所述的海量结构化数据中的重复数据检测方法，其特征在于，所述分别获取海量结构化数据中各个结构化数据的哈希码，根据所述哈希码识别海量结构数据中的重复数据和非重复数据，将所述重复数据保存在第一数据集合，将所述非重复数据保存在第二数据集合的过程之前，还包括：

将待检测的海量结构化数据分别通过轻量级的数据交换格式表示；

分别获取各个结构化数据的哈希码，将所述哈希码保存至相应结构化数据的数据交换格式中。

3.根据权利要求2所述的海量结构化数据中的重复数据检测方法，其特征在于，所述分别获取各个结构化数据的哈希码，将所述哈希码保存至相应结构化数据的数据交换格式中的过程包括：

对各个结构化数据采用MD5算法进行计算，分别得到各个结构化数据的哈希码，分别将任意一个结构化数据的哈希码保存至该结构化数据数据交换格式中的哈希节点。

4.根据权利要求2所述的海量结构化数据中的重复数据检测方法，其特征在于，所述根据所述哈希码识别海量结构数据中的重复数据和非重复数据，将所述重复数据保存在第一数据集合，将所述非重复数据保存在第二数据集合的过程包括：

将哈希码相同的结构化数据中的一个数据确定为非重复数据，将哈希码相同的结构化数据中除设为非重复数据之外的其他数据设为重复数据，将哈希码互不相同的结构化数据设为非重复数据；

分别在各个重复数据对应的数据交换格式中设置重复标记，分别在各个非重复数据所对应的数据交换格式中设置非重复标记；

将携带重复标记的结构化数据保存在第一数据集合，将携带非重复标记的结构化数据保存在第二数据集合。

5.根据权利要求4所述的海量结构化数据中的重复数据检测方法，其特征在于，所述在所述计算节点进行第二数据集合中各个结构化数据中与分布式集群的本地数据之间的重复性检查的过程之后，还包括：

若识别到第二数据集合中的结构化数据与本地数据相重复，在相应结构化数据的数据交换格式中将非重复标记修改为重复标记；

分别将第一数据集合的结构化数据以及第二数据集合的结构化数据发送至分布式集群的汇总节点，通过汇总节点将携带非重复标记的结构化数据存储在各个计算节点的数据库中，并丢弃携带重复标记的结构化数据。

6.根据权利要求1至5任一项所述的海量结构化数据中的重复数据检测方法，其特征在于，所述将所述第一数据集合的结构化数据以及第二数据集合的结构化数据分别发送至分布式集群中不同的计算节点的过程包括：

将所述第一数据集合的结构化数据发送至分布式集群的计算节点；

将所述第二数据集合的结构化数据分别发送分布式集群中其他多个计算节点。

7.根据权利要求1至5任一项所述的海量结构化数据中的重复数据检测方法，其特征在于，所述在所述计算节点进行第二数据集合中各个结构化数据中与分布式集群的本地数据之间的重复性检查的过程包括：

在所述计算节点获取第二数据集合中各个结构化数据的哈希码，将所获取的哈希码与分布式集群预存的哈希码进行比对，在第二数据集合所对应的哈希码中查找与分布式集群预存的任意一个哈希码相同的哈希码，所查找得到的哈希码所对应的结构化数据确定为与本地数据相重复的结构化数据。