[发明专利]海量结构化数据中的重复数据检测方法和系统

说明书

技术领域

本发明涉及数据结构技术领域，特别是涉及一种海量结构化数据中的重复数据检测方法和系统。

背景技术

随着移动互联网、物联网、企业信息化的快速发展，大数据时代来临。企业每天产生的数据数以万计，数据规模呈现海量增长趋势，对企业在数据存储和处理方面都提出了更高的要求。在对上述海量数据，尤其是海量结构化数据进行处理的过程中，对其中的重复数据进行检测，进而进行清理或其他处理措施，是减少数据存储，降低相应处理要求的一种重要手段。

从海量结构化数据清理算法研究内容上讲，传统的重复数据清除算法可分为两类：第一类是数据清理的记录间算法，第二类是数据清理的记录内算法。

目前，传统的海量结构化数据中的重复数据检测方案通常采用重复记录检查的直观方法，其是将每一个记录与数据库中其余记录逐个进行对比，在一定程度上提高了重复数据的识别精度，然而没有考虑到字段不等长、中文字段语义重点偏后等重复记录的特点，匹配花费的时间较长，无法及时得到处理结果，使在海量结构化数据中进行重复数据检测的效率低。

发明内容

基于此，有必要针对传统方案使在海量结构化数据中进行重复数据检测的效率低的技术问题，提供一种海量结构化数据中的重复数据检测方法和系统。

一种海量结构化数据中的重复数据检测方法，包括如下步骤：

分别获取海量结构化数据中各个结构化数据的哈希码，根据所述哈希码识别海量结构数据中的重复数据和非重复数据，将所述重复数据保存在第一数据集合，将所述非重复数据保存在第二数据集合；

将所述第一数据集合的结构化数据以及第二数据集合的结构化数据分别发送至分布式集群中不同的计算节点；

在所述计算节点进行第二数据集合中各个结构化数据中与分布式集群的本地数据之间的重复性检查，若识别到第二数据集合中的结构化数据与本地数据相重复，则将该结构化数据从第二数据集合移动至第一数据集合；

将所述第一数据集合内的结构化数据确定为海量结构化数据中的重复数据。

一种海量结构化数据中的重复数据检测系统，包括：

获取模块，用于分别获取海量结构化数据中各个结构化数据的哈希码，根据所述哈希码识别海量结构数据中的重复数据和非重复数据，将所述重复数据保存在第一数据集合，将所述非重复数据保存在第二数据集合；

发送模块，用于将所述第一数据集合的结构化数据以及第二数据集合的结构化数据分别发送至分布式集群中不同的计算节点；

移动模块，用于在所述计算节点进行第二数据集合中各个结构化数据中与分布式集群的本地数据之间的重复性检查，若识别到第二数据集合中的结构化数据与本地数据相重复，则将该结构化数据从第二数据集合移动至第一数据集合；

确定模块，用于将所述第一数据集合内的结构化数据确定为海量结构化数据中的重复数据。

上述海量结构化数据中的重复数据检测方法和系统，可以分别获取海量结构化数据中各个结构化数据的哈希码，根据所述哈希码识别海量结构数据中的重复数据和非重复数据，将所述重复数据保存在第一数据集合，将所述非重复数据保存在第二数据集合，再将所述第一数据集合的结构化数据以及第二数据集合的结构化数据分别发送至分布式集群中不同的计算节点，进而在分布式集群的计算节点进行第二数据集合中各个结构化数据中与分布式集群的本地数据之间的重复性检查，并在识别到第二数据集合中的结构化数据与本地数据相重复，则将该结构化数据从第二数据集合移动至第一数据集合，从而将所述第一数据集合内的结构化数据确定为海量结构化数据中的重复数据，实现相应重复数据的检测，有效提高了对海量结构化数据进行重复数据检测的效率。

一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上所述的海量结构化数据中的重复数据检测方法。

上述计算机可读存储介质上存储的计算机程序，被处理器执行时可以实现如上所述的海量结构化数据中的重复数据检测方法，能够提高针对海量结构化数据进行重复数据检测的效率。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的海量结构化数据中的重复数据检测方法。

上述计算机设备中，处理器执行所述程序时可以实现如上所述的海量结构化数据中的重复数据检测方法，有效提高了相应的重复数据检测效率。

附图说明

图1为一个实施例的海量结构化数据中的重复数据检测方法流程图；