[发明专利]一种基于布隆算法实现海量黑名单处理的方法

说明书

本发明公开一种基于布隆算法实现海量黑名单处理的方法，首先，选取jdk7软件，jdk7软件已经实现了布隆算法；然后，将刷单黑名单存入布隆过滤器，通过一个hash函数将一个元素映像成一个位阵列中的一个点，通过观察这个点是不是1，即可知道集合中有没有它。通过采用布隆算法，并配合利用布隆过滤器，使得在处理过程中存储的不是元素集合,而是经过一系列Hash算法计算完以后的二进制数组，通过控制k、m来控制占用内存的大小，大大节省了内存空间，为使用带来方便。

技术领域

本发明涉及电商领域技术，尤其是指一种基于布隆算法实现海量黑名单处理的方法。

背景技术

目前，防刷单系统中需要实现黑名单用户机制，主要有以下方法：

1、通常判断一个元素是否存在于某个集合，一般的做法是把数据原文保存到内存中，然后再进行判断是否存在。但是随着数据量日积月累的增加，消耗的内存就越来越严重。

2、计算机中的集合是用哈希表(hash table)来存储的。它的好处是快速准确，缺点是费存储空间。当集合比较小时，这个问题不显着，但是当集合巨大时，哈希表存储效率低的问题就显现出来了

3、由于那些刷单账号者不停地在注册新的账号，达到几十亿个账号，将他们都存起来则需要大量的网络服务器。如果用哈希表，每存储一亿个账号地址，就需要1.6GB的内存，然后将这些信息指纹存入哈希表，由于哈希表的存储效率一般只有50％，因此一个账号需要占用十六个字节。一亿个地址大约要1.6GB，即十六亿字节的内存)。因此存贮几十亿个账号可能需要上百G的内存。除非是超级计算机，一般服务器是无法存储的。

发明内容

有鉴于此，本发明针对现有技术存在之缺失，其主要目的是提供一种基于布隆算法实现海量黑名单处理的方法，其能有效解决现有之防刷单系统中实现黑名单用户机制的方法耗费存储空间的问题。

为实现上述目的，本发明采用如下之技术方案：

一种基于布隆算法实现海量黑名单处理的方法，首先，选取jdk7软件，jdk7软件已经实现了布隆算法；然后，将刷单黑名单存入布隆过滤器，通过一个hash函数将一个元素映像成一个位阵列中的一个点，通过观察这个点是不是1，即可知道集合中有没有它。

优选的，所述布隆过滤器存储的是经过一系列Hash算法计算完以后的二进制数组，通过控制k、m来控制占用内存的大小。

优选的，所述k和m相同，使用同一组Hash函数的两个布隆过滤器的交并差运算使用位操作进行。

本发明与现有技术相比具有明显的优点和有益效果，具体而言，由上述技术方案可知：

通过采用布隆算法，并配合利用布隆过滤器，使得在处理过程中存储的不是元素集合,而是经过一系列Hash算法计算完以后的二进制数组，通过控制k、m来控制占用内存的大小，大大节省了内存空间，为使用带来方便。

为更清楚地阐述本发明的结构特征和功效，下面结合附图与具体实施例来对本发明进行详细说明：

附图说明

图1是本发明之较佳实施例中二进制数组的示意图。

具体实施方式

本发明揭示了一种基于布隆算法实现海量黑名单处理的方法，首先，选取jdk7软件，jdk7软件已经实现了布隆算法；然后，将刷单黑名单存入布隆过滤器，通过一个hash函数将一个元素映像成一个位阵列中的一个点，通过观察这个点是不是1，即可知道集合中有没有它。

所述布隆过滤器存储的是经过一系列Hash算法计算完以后的二进制数组，通过控制k、m来控制占用内存的大小，大大节省了内存空间。k是该位数组的大小，m是Hash函数的个数。