[发明专利]一种数据计数去重方法、系统、服务器及存储介质

权利要求书

1.一种数据计数去重方法，其特征在于，包括：

接收到客户端去重调用请求后，利用dubbo组件进行负载均衡，以分配服务器进行去重处理；

解析所述请求，根据所述请求中预设的去重级别参数，在所述服务器上创建对应数量的redis数据存储bitmap；

获取所述请求中的去重内容参数和所述去重级别参数，通过Bloom Filter算法计算得到去重结果，当所述去重级别大于1级且去重结果返回值为0时，重新计算一组hash函数，再次通过Bloom Filter算法去重，其中，通过Bloom Filter算法去重次数与所述去重级别相等；

所述当所述去重级别大于1级且去重结果返回值为0时，重新计算一组hash函数，再次通过Bloom Filter算法去重，其中，通过BloomFilter算法去重次数与所述去重级别相等具体为：

通过Bloom Filter算法计算得到去重结果后，当所述去重级别大于1级且去重结果返回值为0时，重新计算一组hash函数得到hash值，在redis存储单元的bitmap中查询所述hash值，根据查询结果的返回值和已经去重的次数，判定是否进行再次去重，其中，所述已经去重次数即是通过Bloom Filter算法去重次数；

发送去重后的计数到所述客户端。

2.根据权利要求1所述的方法，其特征在于，所述接收到客户端去重调用请求后还包括：

通过spring boot框架生成接口调用服务，并创建HTTP方式调用和RPC方式调用。

3.根据权利要求1所述的方法，其特征在于，所述解析所述请求，根据所述请求中预设的去重级别参数，在所述服务器上创建对应数量的redis数据存储bitmap包括：

根据所述请求中包含数据库名、分区数据及去重级别，在数据存储组件redis中查询并判断对应的数据库名和分区数据是否存在，当不存在时，在所述数据存储组件中创建bitmap数据，并设置为0。

4.根据权利要求3所述的方法，其特征在于，所述在所述数据存储组中创建bitmap数据，并设置为0还包括：

设置所述bitmap数据生存时间，当所述数据生存时间消耗完，自动销毁所述bitmap数据。

5.一种数据计数去重系统，其特征在于，包括：

服务调用模块：用于通过spring boot框架生成接口调用服务；

负载均衡模块：用于在接收到用户调用请求后，利用dubbo组件进行负载均衡，以分配服务器进行去重处理；

去重计算模块：用于获取所述请求中的去重内容参数和去重级别参数，通过BloomFilter算法计算得到去重结果，当所述去重级别大于1级且去重结果返回值为0时，重新计算一组hash函数，再次通过Bloom Filter算法去重，其中，通过Bloom Filter算法去重次数与所述去重级别相等；

所述当所述去重级别大于1级且去重结果返回值为0时，重新计算一组hash函数，再次通过Bloom Filter算法去重，其中，通过BloomFilter算法去重次数与所述去重级别相等具体为：

通过Bloom Filter算法计算得到去重结果后，当所述去重级别大于1级且去重结果返回值为0时，重新计算一组hash函数得到hash值，在redis存储单元的bitmap中查询所述hash值，根据查询结果的返回值和已经去重的次数，判定是否进行再次去重，其中，所述已经去重次数即是通过Bloom Filter算法去重次数；

数据存储模块：用于根据所述请求中预设的去重级别参数，在所述服务器上创建对应数量的redis数据存储bitmap。

6.根据权利要求5所述的系统，其特征在于，所述服务调用模块包括：

接口生成模块：用于通过spring boot框架生成接口调用服务，并创建HTTP方式调用和RPC方式调用。