[发明专利]一种攻击组织发现方法及系统

说明书

本发明提出了一种攻击组织发现方法及系统，该方法包括：1)获取待处理的Web日志，对Web日志中的关键特征进行提取与预处理；2)用AP聚类方法对上述特征中的无标签特征进行单独聚类，将标签化处理后得到的结果与有标签特征合并；3)根据每个特征在使用时的重要性，给标签特征赋予不同的权值，对比不同IP间特征值是否相同，对特征值相同的权值进行累加，得到最后的群体分值；4)根据不同IP的群体分值得分情况，当分值高于预设阈值时，认定该群体内的IP为同一攻击者/攻击组织。本发明有效的节约了人力资源，并且大大提高了工作效率，降低了企业入侵原因分析的人工成本和时间成本。

技术领域

本发明涉及计算机网络安全和大数据领域，具体涉及一种基于web日志的攻击组织发现方法及系统。

背景技术

随着互联网的发展，越来越多的应用开始架设于Web平台之上，但Web安全形势却不容乐观，目前Web站点的安全问题愈发突出，在过去二十年中，互联网的发展导致了大量可供用户访问的数据。用户与Web的交互被记录并存储在Web访问日志中。Web日志文件记录了各种信息，例如用户IP地址，请求响应时间，请求的资源URL，请求方式，请求响应状态码，用户使用的浏览器信息等。攻击组织发现方法是通过从Web日志提取所需信息后使用数据挖掘技术自动发现攻击组织的一种方法。由于Web日志的上述特性，在入侵原因分析的过程中，对Web日志的分析成为必不可少的一步，但是这些日志的数据量过于庞大冗余、分散独立、错漏混杂，命中率低、反应滞后，很难直接作为准确安全反应的触发性事件。

对于安全事件发生以后，找出入侵原因、网站存在漏洞，及时止损、预防下次攻击，以及对攻击组织进行定位是件非常重要的工作，由于攻击行为的个性化较强，日志数据量量大且杂，因此目前的攻击组织发现技术主要靠人工去进行分析验证，在这方面需要耗费大量的人力资源，自动化工具和机器学习的方法使用较少。对于实现日志自动化分析的产品，又没有办法将攻击组或攻击组织进行关联分析。

在攻击者进行网站攻击时，产生的Web日志中包含了攻击者的IP，攻击时间，攻击目标，payload，UserAgent等信息，对于同一个攻击者或者攻击组织在进行网站攻击时，可能使用不同的IP地址或者浏览器等，但同一个攻击者的不同攻击中，总会存在一定的特性使之关联，攻击组织发现方法通过对海量数据进行综合分析和处理，揭示出其中隐藏的逻辑关联，从而定位到攻击者或攻击组织，以此对网络攻击进行预防和响应，实现对整个网络安全态势的有效监控。

发明内容

针对上述问题，本发明提出了一种攻击组织的发现方法及系统，通过对Web日志中的关键信息进行提取，进一步对攻击者/攻击组织进行关联。

为达到上述目的，本发明采取的具体技术方案是：

一种攻击组织发现方法，包括以下步骤：

1)获取待处理的Web日志，对Web日志中的关键特征进行提取，对所提取的特征进行预处理；

2)用Affinity Propagation(AP)聚类方法对上述特征中的连续性特征，即无标签特征，进行单独聚类，将标签化处理后得到的结果与有标签特征合并；

3)根据每个特征在使用时的重要性，给标签特征赋予不同的权值，对比不同IP间特征值是否相同，对特征值相同的权值进行累加，得到最后的群体分值；

4)根据不同IP的群体分值得分情况，当分值高于预设阈值时，认定该群体内的IP为同一攻击者/攻击组织。

进一步地，步骤1)中所述预处理包括：检查数据的规范性与完整性，根据设定的数据格式，删除不符合该数据格式的冗余内容，将数据转换成计算机可读的形式。