[发明专利]一种基于URLs极大模式的恶意URL检测方法

说明书

技术领域

本发明属于数据挖掘领域，涉及一种基于URLs极大模式的恶意URL检测方法，根据 URL进行极大模式挖掘，以快速检测URL指向的恶意网站。

背景技术

随着互联网技术的不断发展，网络犯罪可能采用的形式也越来越多，其中，网络威胁主 要采用HTTP或HTTPS协议。目前，网络威胁的一种主要机制是引诱用户点击相应的URL (统一资源定位器)来访问恶意网站，如果URL是恶意的，将导致用户受到特定的威胁，从 而使用户受到攻击，目前恶意URL是网络上的一大主要风险，检测恶意URL是网络安全的 重要任务。在这个过程中，恶意URL检测也面临着以下一些挑战：1、实时监测。为有效保 护用户，当用户即将访问恶意URL时，恶意URL检测方法应能在短时间内检测出恶意URL； 2、新的URL检测。为避免被检测，攻击者会频繁创建新的恶意URL，恶意URL检测方法 应能有效地检测出新的、未知的恶意URL；3、有效性检测。恶意URL检测方法应具有较高 的精度。为了应对这些挑战，目前已经存在一些恶意URL检测方法，大致可以分为三大类： 基于黑名单的方法、基于内容的方法、基于URL的方法。基于黑名单的方法创建一个恶意 URL黑名单，并通过手工标记、蜜罐技术、用户反馈和爬虫等技术来维护，若被检测的URL 出现在黑名单中则被报告为恶意URL，这种方法简单、准确度高，但是不能检测新的、未知 的恶意URL；基于内容的方法分析URL相应的网页内容，根据网页内容的特征来检测URL 是否为恶意的，这种方法适合于离线检测和分析，若用于在线检测，会因为网页内容的扫描 和分析消耗大量的时间带来显著的延迟；基于URL的方法使用URL的信息来进行检测，例 如McGrathD.K.和GuptaM.根据URL长度、域名长度等特征分析了正常URL和钓鱼URL 之间的差异，构建检测钓鱼URL的分类器，MaJ.等人根据主机的特征和相关信息应用机器 学习的方法构造分类器来检测恶意URL，但是使用主机的特征会带来较明显的延迟。为此， 本发明提出了一种URLs极大模式挖掘的方法，能灵活、高效地挖掘出恶意URL模式，URLs 极大模式能快速高效地检测恶意URL，在检测新的、未知的恶意URL方面具有良好的扩展 性。不仅如此，挖掘的恶意URL模式是用户可理解的，便于网络安全专家修改和调整以提高 检测质量。挖掘出的URL模式使用公知的有穷自动机方法匹配被检测的URL，若被检测的 URL与恶意URL模式匹配，则被判定是恶意的。

概念解释

URL：UniformResourceLocator，统一资源定位符，是对可以从互联网上得到的资源的 位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。

域名(h)：domainname，是由一串用点分隔的名字组成的因特网上某台计算机或计算机组 的名称，用于在数据传输时标识计算机的电子方位，在URL模式中表示成一个段模式，在 URL中表现为第一个"/"之前的所有字符组成的字符串。

文件名(f)：filename，网页文件在服务器上存储的文件名称，在URL模式中表示成一个 段模式，在URL中表现为最后一个"/"之后的所有字符组成的字符串。

路径名(d)：directorypath，网页文件在服务器上存储的路径名称，在URL模式中表示成 一个段模式，在URL中表现为除去第一个"/"和第一个"/"之前与最后一个"/"和最后一个"/"之 后的所有字符组成的字符串。

通配符(*)：在字符串中表示零个或多个字符的符号。

URL段模式(s)：简称段模式，URL规范中定义的标准字符组成的字符串，可以包含多个 通配符，但是通配符不相邻，s＝c₁...c_l。

段模式长度(|s|)：段模式中字符的个数，例如，s＝c₁...c_l的长度|s|＝l。

段模式前缀：对于段模式s＝c₁...c_l，对于任意i(1≤i≤l)，段模式的前i个字符组 成的段模式s[1,i]＝c₁...c_i称为段模式前缀，若i＞l时，段模式前缀为段模式本身。

URL段序列模式(u)：简称段序列模式，由URL段模式组成的序列，u＝<s₁,...,s_l>。