[发明专利]基于卷积特征和多重哈希映射的大数据URL去重方法

摘要

本发明公开了一种基于卷积特征和多重哈希映射的大数据URL去重方法，通过使用基于卷积特征和多重哈希函数映射的快速特征映射算法，建立一个BitSet，将每个URL都经过一次卷积运算和多个哈希函数映射到多个位，大大降低了冲突概率，从而识别独立的web日志中的URL。本发明方法比传统去重算法更加节省资源，同时又极大的降低了哈希冲突的概率，识别速度非常快。

主权项

1.一种基于卷积特征和多重哈希映射的大数据URL去重方法，其特征在于，包括以下步骤：步骤1：从WEB服务器上或传统WAF设备上提取WEB访问日志，然后筛选出要求的域名HOST和URL；步骤2：对URL字段进行序列卷积和多哈希函数映射；自定义一个包含一个数字串的卷积核，卷积核的数字序列任意确定一个，将每个需要去重的字符串按照映射表确定为一个数字序列，一次卷积操作的结果是对应数字相乘；定义一个步长，卷积核在数字序列上依次卷积能够产生很多卷积值；设置哈希函数个数k、位数组大小m、加入的字符串数量n，在这个条件下出现哈希表误报的可能性为：设置k的值为k＝ln2*m/n，此时达到最低误报率：依照上述公式依照预期的误报率确定要使用的哈希函数个数；步骤3：卷积函数为f，使用k个哈希函数进行映射，哈希函数为h1，h2，h3，h4...hk，则卷积特征值和哈希函数映射值在BitSet中的二进制位赋值原理为：初始化一个m位的bit数组，卷积输出和每个哈希函数的输出都是一个(0，m‑1)之间的一个数；输入x，对于每一个哈希函数，计算j＝hi(x)，将m_bit[j]设成1；同理，对于卷积函数每一次卷积操作，计算c＝f(x)，将m_bit[c]设成1；步骤4：根据赋值后的BitSet，作为URL的关键字或者标签，进而识别独立URL。