[发明专利]基于卷积特征和多重哈希映射的大数据URL去重方法

说明书

本发明公开了一种基于卷积特征和多重哈希映射的大数据URL去重方法，通过使用基于卷积特征和多重哈希函数映射的快速特征映射算法，建立一个BitSet，将每个URL都经过一次卷积运算和多个哈希函数映射到多个位，大大降低了冲突概率，从而识别独立的web日志中的URL。本发明方法比传统去重算法更加节省资源，同时又极大的降低了哈希冲突的概率，识别速度非常快。

技术领域

本发明涉及URL去重技术领域，特别是一种基于卷积特征和多重哈希映射的大数据URL去重方法。

背景技术

现有的大数据URL处理技术之一是用HashSet将访问过的URL保存起来，只需接近O(1)的代价就可以查到一个URL是否被访问过了。此方法存以下不足：太消耗内存，随着URL的增多，占用的内存会越来越多，就算只有一亿URL，每个URL算50个字符，就需要5GB内存，实际大数据处理时数量会大得多。

现有的大数据URL处理技术之二是URL经过MD5或SHA-1等单向哈希后再保存到HashSet或数据库，由于字符串经过MD5处理后的信息摘要长度只有128Bit，SHA-1处理后也只有160Bit，节省了好几倍的内存。此方法存在以下不足：使用了哈希映射，节省了好几倍的内存，但是在几十亿级别的数据量处理过程中还是会有很多哈希表冲突，误报数量达到不可忽视的数量，导致去重效果不好。

相关技术术语

卷积：在泛函分析中，卷积(Convolution)是通过两个函数f和g生成第三个函数的一种数学算法，表征函数f与g经过翻转和平移的重叠部分的映射。

URL：统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。

哈希函数：数据元素中的关键字通过一定的函数关系映射到哈希表。

发明内容

本发明所要解决的技术问题是提供一种基于卷积特征和多重哈希映射的大数据URL去重方法，用于解决大数据WEB访问日志URL去重处理速度慢、效果差的问题，可以快速在超大量数据中筛选出高价值的独立URL，便于进行后期处理。

为解决上述技术问题，本发明采用的技术方案是：

一种基于卷积特征和多重哈希映射的大数据URL去重方法，包括以下步骤：

步骤1：从WEB服务器上或传统WAF设备上提取WEB访问日志，然后筛选出要求的域名HOST和URL；

步骤2：对URL字段进行序列卷积和多哈希函数映射；

自定义一个包含一个数字串的卷积核，卷积核的数字序列任意确定一个，将每个需要去重的字符串按照映射表确定为一个数字序列，一次卷积操作的结果是对应数字相乘；定义一个步长，卷积核在数字序列上依次卷积能够产生很多卷积值；

设置哈希函数个数k、位数组大小m、加入的字符串数量n，在这个条件下出现哈希表误报的可能性为：

设置k的值为k＝ln2*m/n，此时达到最低误报率：

依照上述公式依照预期的误报率确定要使用的哈希函数个数；

步骤3：卷积函数为f，使用k个哈希函数进行映射，哈希函数为h1，h2，h3，h4...hk，则卷积特征值和哈希函数映射值在BitSet中的二进制位赋值原理为：初始化一个m位的bit数组(每位初始设为0)，卷积输出和每个哈希函数的输出都是一个(0，m-1)之间的一个数(对应bit数组下标)；

输入x，对于每一个哈希函数，计算j＝hi(x)，将m_bit[j]设成1；同理，对于卷积函数每一次卷积操作，计算c＝f(x)，将m_bit[c]设成1；