[发明专利]一种数据去重方法、系统、中心服务器及分布式服务器在审
申请号: | 201711434983.X | 申请日: | 2017-12-26 |
公开(公告)号: | CN108121810A | 公开(公告)日: | 2018-06-05 |
发明(设计)人: | 谢永恒;张海涛;火一莽;万月亮 | 申请(专利权)人: | 北京锐安科技有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 孟金喆 |
地址: | 100044 北京市海淀区西小口*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式服务器 哈希 待处理数据 去重 中心服务器 哈希算法 哈希计算 数据丢失 分配 宕机 | ||
1.一种数据去重方法,其特征在于,所述方法包括:
中心服务器采用第一哈希算法将当前待处理数据进行哈希计算,获取所述当前待处理数据对应的第一哈希值,将所述当前待处理数据对应的第一哈希值分配到与其对应的分布式服务器中;
所述分布式服务器采用第二哈希算法将所述当前待处理数据对应的第一哈希值进行哈希计算,获取所述当前待处理数据对应的第二哈希值;
所述分布式服务器根据所述当前待处理数据对应的第二哈希值对所述当前待处理数据进行去重处理。
2.根据权利要求1所述的方法,其特征在于,所述将所述当前待处理数据对应的第一哈希值分配到与其对应的分布式服务器中,包括:
所述中心服务器根据所述当前待处理数据对应的第一哈希值和预先确定的各个分布式服务器对应的哈希值区间,确定所述当前待处理数据对应的第一哈希值所在的目标哈希值区间;
所述中心服务器获取所述目标哈希值区间对应的分布式服务器的工作状态;其中,所述工作状态包括:正常工作状态和异常工作状态;
当所述目标哈希值区间对应的分布式服务器的工作状态为正常工作状态时,所述中心服务器将所述当前待处理数据对应的第一哈希值分配到所述目标哈希值区间对应的分布式服务器中。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
当所述目标哈希值区间对应的分布式服务器的工作状态为异常工作状态时,所述中心服务器根据所述目标哈希值区间确定下一个目标哈希值区间;
所述中心服务器将所述当前待处理数据对应的第一哈希值分配到所述下一个目标哈希值区间对应的分布式服务器中。
4.根据权利要求1所述的方法,其特征在于,所述分布式服务器根据所述当前待处理数据对应的第二哈希值对所述当前待处理数据进行去重处理,包括:
所述分布式服务器判断Redis内存的BitMap中是否存在所述当前待处理数据对应的第二哈希值;
当Redis内存的BitMap中不存在所述当前待处理数据对应的第二哈希值时,所述分布式服务器将所述当前待处理数据对应的第二哈希值存储到所述Redis内存的BitMap中;
当所述Redis内存的BitMap中存在所述当前待处理数据对应的第二哈希值,所述分布式服务器将所述当前待处理数据进行丢弃。
5.一种中心服务器,其特征在于,所述中心服务器包括:第一计算模块和分配模块;其中,
所述第一计算模块,用于采用第一哈希算法将当前待处理数据进行哈希计算,获取当前待处理数据对应的第一哈希值;
所述分配模块,用于将当前待处理数据对应的第一哈希值分配到与其对应的分布式服务器中。
6.根据权利要求5所述的中心服务器,其特征在于,所述分配模块包括:确定单元、获取单元和分配单元;其中,
所述确定单元,用于根据各个待处理数据对应的第一哈希值和预先确定的各个分布式服务器对应的哈希值区间,确定各个第一哈希值对应的目标哈希值区间;
所述获取单元,用于获取所述目标哈希值区间对应的分布式服务器的工作状态;其中,所述工作状态包括:正常工作状态和异常工作状态;
所述分配单元,用于当所述目标哈希值区间对应的分布式服务器的工作状态为正常工作状态时,将所述当前待处理数据对应的第一哈希值分配到所述目标哈希值区间对应的分布式服务器中。
7.根据权利要求6所述的中心服务器,其特征在于,所述确定单元,还用于当所述目标哈希值区间对应的分布式服务器的工作状态为异常工作状态时,根据所述目标哈希值区间确定下一个目标哈希值区间;
所述分配单元,还用于将各个待处理数据对应的第一哈希值分配到所述下一个目标哈希值区间对应的分布式服务器中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京锐安科技有限公司,未经北京锐安科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711434983.X/1.html,转载请声明来源钻瓜专利网。