[发明专利]一种数据去重方法、装置、设备及存储介质

说明书

本发明实施例公开了一种数据去重方法、装置、设备及存储介质。该方法包括：获取待处理文件中的待处理数据，并计算所述待处理数据的第一哈希值和第一MD5值；根据所述第一哈希值，确定已存储的检索数据中进行数据比对的目标哈希分区，其中，所述检索数据包括至少一个哈希分区，每一个哈希分区包括至少一个MD5值；确定所述目标哈希分区的至少一个MD5值中是否存在所述第一MD5值；如果存在，则确定所述待处理数据为重复数据，并基于所述待处理数据对文档数据库中与所述第一MD5值对应的存储数据进行更新。本发明实施例通过计算哈希值和MD5值，解决了没有主关键字情况下的数据去重问题，缩短了数据去重的时间，进而提高了对文件中的数据采集的效率。

技术领域

本发明实施例涉及数据库技术领域，尤其涉及一种数据去重方法、装置、设备及存储介质。

背景技术

在进行数据汇总的过程中，通常会通过主关键字的方式对数据文件进行去重处理，避免数据库中存在大量的重复数据，导致存储资源的浪费。具体的，主关键字可以用于唯一的标识表中的数据记录，主关键字又称为主键，可以由一个字段或多个字段组成。

但是，数据文件的提供方提供的数据文件通常没有主键，并且经常会出现数据文件被重复性提供的情况。也有人提出可以通过临时库方式或全表对比的方式进行数据去重。其中，临时库方式是将文件数据统计采集到临时的数据库中，通过SQL(StructuredQuery Language，结构化查询语言)脚本进行数据去重，再将去重后得到的数据文件保存在数据库中。全表对比是在每次得到新的文件数据时，将该文件数据和数据库中的所有数据进行对比去重。

基于上述现有的技术方案，临时库的方法会对已经去重过的文件数据重复进行去重处理，维护成本较大。而全表对比的方法在数据库数据量较大的情况下，数据去重的效率不高。

发明内容

本发明实施例提供了一种数据去重方法、装置、设备及存储介质，以提高数据去重的效率。

第一方面，本发明实施例提供了一种数据去重方法，该方法包括：

获取待处理文件中的待处理数据，并计算所述待处理数据的第一哈希值和第一MD5值；

根据所述第一哈希值，确定已存储的检索数据中进行数据比对的目标哈希分区，其中，所述检索数据包括至少一个哈希分区，每一个哈希分区包括至少一个MD5值；

确定所述目标哈希分区的至少一个MD5值中是否存在所述第一MD5值；

如果存在，则确定所述待处理数据为重复数据，并基于所述待处理数据对文档数据库中与所述第一MD5值对应的存储数据进行更新。

第二方面，本发明实施例还提供了一种数据去重装置，该装置包括：

待处理数据获取模块，用于获取待处理文件中的待处理数据，并计算所述待处理数据的第一哈希值和第一MD5值；

目标哈希分区确定模块，用于根据所述第一哈希值，确定已存储的检索数据中进行数据比对的目标哈希分区，其中，所述检索数据包括至少一个哈希分区，每一个哈希分区包括至少一个MD5值；

第一MD5值确定模块，用于确定所述目标哈希分区的至少一个MD5值中是否存在所述第一MD5值；

重复数据确定模块，用于如果存在，则确定所述待处理数据为重复数据，并基于所述待处理数据对文档数据库中与所述第一MD5值对应的存储数据进行更新。

第三方面，本发明实施例还提供了一种设备，该设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述所涉及的任一所述的数据去重方法。