[发明专利]一种数据计数去重方法、系统、服务器及存储介质

摘要

本发明公开了一种数据计算去重方法、系统、服务器及存储介质，适用于大数据中的数据去重。本发明提供的方法包括：接收调用请求，利用dubbo组件进行负载均衡；解析所述请求，根据所述请求中预设的去重级别参数，在所述服务器上创建对应数量的redis数据存储bitmap；获取所述请求中的去重内容参数和所述去重级别参数，通过Bloom Filter算法计算得到去重结果，当所述去重级别大于1级且去重结果返回值为0时，重新计算一组hash函数，再次通过Bloom Filter算法去重。本发明中通过dubbo组件进行负载均衡，同时根据预设的去重等级，通过Bloom Filter算法进行对应级别的计数去重，不仅可以保障数据得到高效快速的处理，而且能大大减少数据误杀概率，提升去重的准确性。

主权项

1.一种数据计数去重方法，其特征在于，包括：接收到客户端去重调用请求后，利用dubbo组件进行负载均衡，以分配服务器进行去重处理；解析所述请求，根据所述请求中预设的去重级别参数，在所述服务器上创建对应数量的redis数据存储bitmap；获取所述请求中的去重内容参数和所述去重级别参数，通过Bloom Filter算法计算得到去重结果，当所述去重级别大于1级且去重结果返回值为0时，重新计算一组hash函数，再次通过Bloom Filter算法去重，其中，通过Bloom Filter算法去重次数与所述去重级别相等。发送去重后的计数到所述客户端。