[发明专利]一种大数据的去重方法、装置、设备及介质

权利要求书

1.一种大数据的去重方法，其特征在于，包括：

确定待去重数据的标识信息；所述标识信息用于唯一表征所述待去重数据；

基于所述标识信息确定所述待去重数据匹配的目标分桶，并将所述待去重数据存放至所述目标分桶中；

若确定所述目标分桶中所述待去重数据不唯一，则对所述待去重数据执行去重操作。

2.根据权利要求1所述的方法，其特征在于，确定待去重数据的标识信息，包括：

确定所述待去重数据的主键；

将基于信息-摘要算法对所述主键进行处理得到的目标数据作为所述待去重数据的标识信息。

3.根据权利要求1所述的方法，其特征在于，基于所述标识信息确定所述待去重数据匹配的目标分桶，包括：

对所述标识信息进行哈希处理得到第一哈希值；

对所述第一哈希值进行高低位异或处理得到第二哈希值；

基于所述第二哈希值确定所述待去重数据匹配的目标分桶。

4.根据权利要求3所述的方法，其特征在于，基于所述第二哈希值确定所述待去重数据匹配的目标分桶，包括：

采用所述第二哈希值对分桶总数进行取余得到目标余数；

根据所述目标余数以及余数与分桶的对应关系确定所述待去重数据匹配的目标分桶。

5.根据权利要求1所述的方法，其特征在于，若确定所述目标分桶中所述待去重数据不唯一，包括：

采用至少一种哈希函数对所述待去重数据的标识信息进行处理，得到所述待去重数据的目标地址存储结果；

若确定所述标识信息的预设地址存储结果已经存在，则将所述目标地址存储结果与所述预设地址存储结果进行一致性比对；

若确定所述目标地址存储结果与所述预设地址存储结果一致，则确定所述目标分桶中所述待去重数据不唯一。

6.根据权利要求5所述的方法，其特征在于，采用至少一种哈希函数对所述待去重数据的标识信息进行处理，得到所述待去重数据的目标地址存储结果，包括：

采用所述哈希函数对所述待去重数据的标识信息进行处理得到目标哈希值；

将所述目标哈希值映射至布隆过滤器的二进制数组中得到候选地址存放结果；

根据各所述候选地址存放结果确定所述待去重数据的目标地址存储结果。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

将所述标识信息、目标地址存储结果与所述预设地址存储结果存储至Redis数据库中。

8.一种大数据的去重装置，其特征在于，包括：

标识信息确定模块，用于确定待去重数据的标识信息；所述标识信息用于唯一表征所述待去重数据；

目标分桶确定模块，用于基于所述标识信息确定所述待去重数据匹配的目标分桶，并将所述待去重数据存放至所述目标分桶中；

去重操作执行模块，用于若确定所述目标分桶中所述待去重数据不唯一，则对所述待去重数据执行去重操作。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的大数据的去重方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的大数据的去重方法。