[发明专利]数据重复性校验方法及装置

说明书

本发明公开了一种数据重复性校验方法及装置，涉及信息技术领域，可以提高数据重复性校验的效率。所述方法包括：首先获取数据库对应的数据量信息；再根据所述数据量信息，创建布隆过滤器；然后获取所述数据库中预置字段信息对应的哈希值，并将所述哈希值保存在所述布隆过滤器中；当所述布隆过滤器中不存在待插入数据中特征字段信息对应的哈希值时，保存所述待插入数据。本发明适用于数据重复性的校验。

技术领域

本发明涉及信息技术领域，尤其涉及一种数据重复性校验方法及装置。

背景技术

近些年来，随着信息技术的不断发展，分布式技术越来越成熟，通过分布式技术建立分片集群，可以实现对数据库中的数据进行分布式存储，例如MongoDB，CouchDB，Hbase，Hypertable等数据库，进而可以提高分布式系统中的并发性能。但是由于在分片模式下数据库的片键索引无法保证集群数据的唯一性，会导致分布式系统中产生很多重复的冗余数据，不仅会增加硬件的存储成本，还会影响系统的存储和查询性能。

目前可以在每次插入新数据之前进行数据重复性校验，在数据库中查询是否存在相同的数据，具体地，当需要向数据库插入新数据时，可以将此新数据分配到数据库中每一分片区域分别进行数据重复性校验。然而，由于每次向数据库中插入新数据之前都需要进行上述数据重复性校验，这样会造成数据重复性校验的效率较低，并且会影响数据的插入速度。

发明内容

有鉴于此，本发明实施例提供一种数据重复性方法及装置，主要目的是可以提高数据重复性校验的效率。

为达到上述目的，本发明主要提供如下技术方案：

一方面，本发明实施例提供了一种数据重复性校验方法，该方法包括：

获取数据库对应的数据量信息；

根据所述数据量信息，创建布隆过滤器；

获取所述数据库中预置字段信息对应的哈希值，并将所述哈希值保存在所述布隆过滤器中；

当所述布隆过滤器中不存在待插入数据中特征字段信息对应的哈希值时，保存所述待插入数据。

另一方面，本发明实施例还提供了一种数据重复性校验装置，该装置包括：

获取单元，用于获取数据库对应的数据量信息；

创建单元，用于根据所述获取单元获取的数据量信息，创建布隆过滤器；

所述获取单元，还用于获取所述数据库中预置字段信息对应的哈希值，并将所述哈希值保存在所述布隆过滤器中；

保存单元，用于当所述布隆过滤器中不存在待插入数据中特征字段信息对应的哈希值时，保存所述待插入数据。

借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点：

本发明提供的一种数据重复性校验方法及装置，首先获取数据库对应的数据量信息；再根据所述数据量信息，创建布隆过滤器；然后获取所述数据库中不同预置字段信息分别对应的哈希值，并将所述哈希值保存在所述布隆过滤器中；当所述布隆过滤器中不存在待插入数据中特征字段信息对应的哈希值时，保存所述待插入数据。与现有技术相比，本发明通过根据数据库的数据量信息，创建布隆过滤器，并在布隆过滤器中进行数据重复性校验，可以实现在数据库插入数据的入口处对数据进行重复性校验，无需将待插入数据分配到数据库中每一分片区域分别进行数据重复性校验，提高了数据重复性校验的效率，减少了分布式系统的负担。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明