[发明专利]一种攻击次数分类统计方法及系统

说明书

本发明公开了一种攻击次数分类统计方法及系统包括，采集各安全设备原始日志，并对原始日志进行预处理；将预处理后的日志数据存放至可扩展分布式文件系统中；获取可扩展分布式文件系统存储的数据，结合目标维度，对日志进行聚合，计算出攻击次数，并进行分类统计。借助Flink优秀的流处理能力，保证了任务运行的稳定性以及“精确一次”语义，即不重不漏地处理每条日志；在范式化日志中加入“事件时间戳”，并将其在计算攻击次数时作为聚合依据，消除了乱序到达的日志对最终统计结果的影响；结合安全设备的网络拓扑，引入“可达攻击”和“阻断攻击”的分类标准，使攻击次数的统计更具有分析价值。

技术领域

本发明涉及攻击次数分类统计技术领域，尤其涉及一种攻击次数分类统计方法及系统。

背景技术

随着网络技术的飞速发展，安全问题也日渐突出，为了应对大量且形式多样的黑客攻击，安全分析员需要操作各种安全设备，以获取攻击信息。但是，这种分析方法有诸多局限性：一是各类安全设备独立运行，日志格式差异较大，难于统一分析；二是各类安全设备监测能力存在交集，同一次攻击可能会产生大量告警，而这些告警内容实际是冗余的，这大大增加了监测分析的工作量。

针对海量日志统计分析的场景，大数据技术有着广泛的应用。Flink是一款优秀的流处理框架，具有低延迟、高吞吐、高性能的特性，并且支持“事件时间”窗口(在当前场景下即为日志产生的时间)，用于实时计算。Spark是专为大规模数据处理而设计的快速通用的计算引擎，基于内存计算，多用于离线分析。

现有的攻击次数统计方案准确性大都较低，大致包括以下步骤：1)日志采集：收集安全设备的日志，发送至消息队列；2)以此消息队列作为数据源，建立消费任务将数据存入文件系统，一般通过Storm或Flink实现；3)次数统计：统计文件系统中的日志条数作为攻击次数。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明提供了一种攻击次数分类统计方法及系统，能够解决背景技术中提到的问题。

为解决上述技术问题，本发明提供如下技术方案，一种攻击次数分类统计方法，包括：

采集各安全设备原始日志，并对所述原始日志进行预处理；

将所述预处理后的日志数据存放至可扩展分布式文件系统中；

获取可扩展分布式文件系统存储的数据，结合目标维度，对日志进行聚合，计算出攻击次数，并进行分类统计。

作为本发明所述的攻击次数分类统计方法的一种优选方案，其中：所述各安全设备原始日志包括，各安全设备运行过程中产生的多源异构数据以及每条日志的接收时间；

所述预处理包括对日志数据的去重、去噪、加强以及范式化；

若所述安全设备原始日志为正序数据时，所述去重、去噪包括将原始数据作为数据源，按正则匹配原始日志内容，并创建5秒的Flink时间窗口，对窗口内原始日志去重、去噪；

若所述安全设备原始日志为乱序数据时，所述去重、去噪包括将原始数据作为数据源，并为每条日志增加“接收时间”字段，在Flink中处理日志时，使用“事件时间窗口”处理；

所述加强包括对原始日志内容关联地理位置、资产、受攻击业务系统以及其他原始日志存在缺少的内容进行补充；