[发明专利]URL匹配方法、URL匹配设备及存储介质

说明书

本发明提供URL匹配方法、URL匹配设备及存储介质，该方法通过将输入的待匹配的原始URL数据在URL结果缓存中查询是否已存储过其对应的信息，若是则查询标志位及已命中规则表得到以前是否匹配的信息，输出匹配结果；否则在模式匹配引擎中进行匹配，并进行存储URL数据。该方法对大量重复的URL数据去重，以降低URL数据重复匹配次数，提高匹配速度。同时本发明采用比实际串匹配复杂度低的多项式散列算法，但不仅限于多项式散列算法。在增添数据去重操作后可以减少重复的URL数据的匹配次数，达到去重和降低匹配时间的目的。

技术领域

本发明涉及内容过滤、信息安全等领域，尤其涉及URL匹配方法、URL匹配设备及存储介质。

背景技术

随着计算机网络的发展，通过网络进行娱乐、工作、休闲等已经占据着生活的大部分时间，万维网的应用已占因特网通信量的90％。在这种情况下，需要对访问的URL(Uniform Resource Locator，统一资源定位符)进行匹配，进而对访问的URL进行控制，提高工作效率。

一种传统的URL匹配方法主要利用串匹配的算法针对URL规则集合做处理，如根据URL“黑名单”的过滤特点，利用AC(Aho-Corasick)算法，采取启发式策略从URL规则中选取定长、具有特点的子串，并利用双数组进行压缩。另一种传统的URL匹配方法主要利用路由器与缓存引擎之间的通信协议(WCCP)完成URL匹配。

上述两种传统的URL匹配方法主要从常规性的内容过滤系统的角度来实现对URL的匹配过程，但是，在实际进行URL匹配时，待匹配的URL数据中存在大量的重复URL数据，这些重复的URL数据使得匹配过程重复匹配了多次数据，从而降低了传统URL匹配方法的匹配效率。

发明内容

由于真实网络流量下URL数据的重复率比较高，对网络流量匹配时往往有大量数据重复匹配，这样会降低匹配速度。本发明旨在提供URL匹配方法、URL匹配设备及存储介质，该方法能够针对网络流量中的文本匹配问题快速匹配规则，并且能够将大规模的URL数据去重，以达到避免重复匹配数据的目的。

针对上述目的，本发明所采用的技术方案为：

一种URL匹配方法，其步骤为：

1)将待匹配的原始URL数据进行双哈希运算，得到双哈希值hash₁、hash₂及其对应的哈希值h；

2)若在哈希表中查询到哈希值为h的哈希节点，则查询该哈希节点的双哈希值与上述待匹配的原始URL数据的双哈希值是否都相等；

3)若相等，则判断上述哈希节点的标志位start和end是否满足预设条件；

4)若上述哈希节点的标志位start和end满足预设条件，则上述待匹配的原始URL数据匹配已命中规则表中的一条规则。

进一步地，步骤2)中所述哈希表与步骤4)中所述已命中规则表位于URL结果缓存中。

进一步地，步骤2)还包括：若在哈希表中未查询到哈希值为h的哈希节点，则直接结束，转到模式匹配引擎匹配所述待匹配的原始URL数据，并返回结果。

进一步地，步骤3)中所述预设条件是指哈希节点的标志位start和end不相等。

更进一步地，步骤3)还包括：若上述哈希节点的双哈希值与上述待匹配的原始URL数据的双哈希值不相等，则在上述哈希表中查询是否还有其它哈希值为h的哈希节点；若没有则利用模式匹配引擎匹配所述待匹配的原始URL数据，并返回结果。

更进一步地，当模式匹配引擎匹配所述待匹配的原始URL数据，并返回结果时，将该待匹配的原始URL数据存入URL结果缓存，其步骤包括：