[发明专利]一种数据去重方法、系统、中心服务器及分布式服务器

说明书

本发明实施例公开了一种数据去重方法、系统、中心服务器及分布式服务器；所述方法包括：中心服务器采用第一哈希算法将当前待处理数据进行哈希计算，获取第一哈希值，将当前待处理数据对应的第一哈希值分配到与其对应的分布式服务器中，然后分布式服务器采用第二哈希算法将对应的第一哈希值进行哈希计算，获取对应的第二哈希值，最后分布式服务器根据当前待处理数据对应的第二哈希值对当前待处理数据进行去重处理。在本发明的实施例中，中心服务器采用第一哈希算法计算待处理数据的第一哈希值并分配至对应的分布式服务器中，解决了数据去重时分布式服务器出现宕机现象造成数据丢失的问题，进而提高了数据去重的准确性。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据去重方法、系统、中心服务器及分布式服务器。

背景技术

数据去重是大数据数据预处理领域的一个重要组成部分，数据去重的性能和数据去重的准确性会直接影响数据预处理以及后期的数据挖掘、清洗、分析、存储等众多模块的性能、资源和数据准确性。

目前的数据去重是基于Redis内存的布隆过滤器(Bloomfilter)对数据进行去重。由于Bloomfilter和Redis内存均支持比特位的数据存储格式，因此可以将Redis内存与Bloomfilter的过滤功能结合。具体地，Redis内存可以为Bloomfilter提供存储空间，在Bloomfilter中利用哈希(Hash)函数计算各个待处理数据对应的比特位的位置，将计算得到的各个待处理数据对应的比特位的位置设置为1，并比较Redis内存的BitMap中对应位置的比特位的取值，从而实现分布式集群环境下的数据过滤去重。

在现有技术中，基于Redis的Bloomfilter去重方法，主要应用于爬虫(Python)框架Scrapy，对网络统一资源定位符(URL)进行去重。在进行网络爬虫数据过滤去重时，爬取到的数据逐条进入Bloomfilter中进行过滤，在Bloomfilter中进行多种Hash函数计算，根据Hash计算结果确定对应的比特位的位置，将对应位置的比特位的值设为1，再与Redis内存中的BitMap中对应位置的比特位的取值进行比较，实现过滤去重。

然而，目前网络爬虫中的Scrapy插件在进行过滤去重时，没有考虑分布式服务器发生宕机的情况，若分布式服务器出现宕机，则在该分布式服务器中正在过滤的数据会丢失，进而会影响数据库去重的准确性。

发明内容

本发明实施例提供一种数据去重方法、系统、中心服务器及分布式服务器，可以防止分布式服务器宕机时对数据去重的影响，进而可以提高数据去重的准确性。

第一方面，本发明实施例提供了一种数据去重方法，包括：

中心服务器采用第一哈希算法将当前待处理数据进行哈希计算，获取所述当前待处理数据对应的第一哈希值，将所述当前待处理数据对应的第一哈希值分配到与其对应的分布式服务器中；

所述分布式服务器采用第二哈希算法将所述当前待处理数据对应的第一哈希值进行哈希计算，获取所述当前待处理数据对应的第二哈希值；

所述分布式服务器根据所述当前待处理数据对应的第二哈希值对所述当前待处理数据进行去重处理。

第二方面，本发明实施例还提供了一种中心服务器，所述中心服务器包括：第一计算模块和分配模块；其中，

所述第一计算模块，用于采用第一哈希算法将当前待处理数据进行哈希计算，获取当前待处理数据对应的第一哈希值；

所述分配模块，用于将当前待处理数据对应的第一哈希值分配到与其对应的分布式服务器中。

第三方面，本发明实施例还提供了一种分布式服务器，所述分布式服务器包括：第二计算模块和去重模块；其中，