[发明专利]一种数据去重方法、装置、设备及存储介质

权利要求书

1.一种数据去重方法，其特征在于，包括：

获取待处理文件中的待处理数据，并计算所述待处理数据的第一哈希值和第一MD5值；

根据所述第一哈希值，确定已存储的检索数据中进行数据比对的目标哈希分区，其中，所述检索数据包括至少一个哈希分区，每一个哈希分区包括至少一个MD5值；

确定所述目标哈希分区的至少一个MD5值中是否存在所述第一MD5值；

如果存在，则确定所述待处理数据为重复数据，并基于所述待处理数据对文档数据库中与所述第一MD5值对应的存储数据进行更新。

2.根据权利要求1所述的方法，其特征在于，还包括：

获取文档数据库中已存储的至少一个存储数据，并计算所述存储数据的第二哈希值和第二MD5值；

根据缓存数据库中的哈希分区，将所述第二MD5值存储至与所述第二MD5值对应的第二哈希值所属的哈希分区中，生成检索数据。

3.根据权利要求1所述的方法，其特征在于，所述检索数据还包括所述各存储数据对应的主关键字数据，相应的，在获取待处理文件中的待处理数据之后，还包括：

确定所述待处理数据中是否存在预设主关键字数据；

如果存在，则基于所述预设主关键字数据对所述待处理数据进行重复性判断。

4.根据权利要求3所述的方法，其特征在于，所述基于所述预设主关键字数据对所述待处理数据进行重复性判断，包括：

将所述待处理数据的预设主关键字数据与所述检索数据中的主关键字数据进行比对；

当所述预设主关键字数据与所述检索数据中的任一主关键字数据相同时，确定所述待处理数据为重复数据，并基于所述待处理数据对文档数据库中与所述预设主关键字数据对应的存储数据进行更新。

5.根据权利要求1或4所述的方法，其特征在于，所述方法还包括：

如果所述目标哈希分区的至少一个MD5值不存在所述第一MD5值，或者所述预设主关键字数据与所述检索数据中的任一主关键字数据均不相同，则将所述待处理数据存储至所述文档数据库中。

6.根据权利要求5所述的方法，其特征在于，在所述将所述待处理数据存储至所述文档数据库之后，还包括：

将所述第一MD5值和/或所述预设主关键字数据保存在所述检索数据中，以对所述检索数据进行更新。

7.根据权利要求1所述的方法，其特征在于，所述计算所述待处理数据文件对应的第一哈希值和第一MD5值，包括：

获取所述待处理数据中的预设字段数据，并基于所述预设字段数据计算第一哈希值和第一MD5值。

8.一种数据去重装置，其特征在于，包括：

待处理数据获取模块，用于获取待处理文件中的待处理数据，并计算所述待处理数据的第一哈希值和第一MD5值；

目标哈希分区确定模块，用于根据所述第一哈希值，确定已存储的检索数据中进行数据比对的目标哈希分区，其中，所述检索数据包括至少一个哈希分区，每一个哈希分区包括至少一个MD5值；

第一MD5值确定模块，用于确定所述目标哈希分区的至少一个MD5值中是否存在所述第一MD5值；

重复数据确定模块，用于如果存在，则确定所述待处理数据为重复数据，并基于所述待处理数据对文档数据库中与所述第一MD5值对应的存储数据进行更新。

9.一种设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的数据去重方法。

10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的数据去重方法。