[发明专利]基于人工智能和MapReduce安全攻击预测方法

说明书

本发明公开了基于人工智能和MapReduce安全攻击预测方法，包括：包括通过RF方法建立基于人工智能技术的安全事件关联模型，所述模型是以在线方式通过Hadoop/Spark大数据框架实时建立起来的。通过本发明通过对企业IT系统所产生的日志进行分析，能够预测可能发送的安全，可以帮助企业及时（或提前）规避安全攻击发生的风险，保障企业的正常运营,降低了运营成本。

技术领域

本发明涉及人工智能、大数据和信息安全应用技术领域，尤其涉及到安全攻击事件预测的方法。

背景技术

本发明中包含的英文简称如下：

RF：Random Forest 随机森林

CLF：Common Log Format 普通日志格式

JSON：JavaScript Object Notation JAVA脚本对象符号

SOC：Security Operation Center安全管理中心

IDS：Intrusion Detection Systems入侵检测系统

SNMP：Simple Network Management Protocol简单网络管理协议

HDFS：Hadoop Distribute File SystemHadoop分布式文件系统。

安全生产历来是保障各项工作有序开展的前提，也是考核各级领导干部的否决指标。网络及信息安全运维体系是各类企业安全生产工作的重要组成部分。保障网络及信息系统高效稳定地运行，是企业一切市场经营活动和正常运作的基础。

当前，企业IT系统部署了各种不同的业务系统和安全设备，有效的提高了劳动生产率，降低了运营成本，已经成为企业高效运营的重要支撑和生产环节中不可缺少的一环。一方面，一旦各业务系统出现安全事件或故障，不能及时发现、及时处理、及时恢复，势必直接导致承载在其上所有业务的运行，影响企业的正常运营秩序，涉及到所服务企业用户的系统将直接导致用户投诉，满意度下降，公司形象受到损害，对于企业网络的安全保障就显得格外重要；另一方面，各种网络攻击技术也变得越来越先进，越来越普及化，企业的网络系统面临着随时被攻击的危险，经常遭受不同程度的入侵和破坏，严重干扰了企业网络的正常运行。日益严峻的安全威胁迫使企业不得不加强对网络系统的安全防护，不断追求多层次、立体化的安全防御体系，建设安全运维服务中心，实时跟踪和预测各种安全攻击、及时采取相应的控制动作，来保护企业这些业务系统正常运营。

然而，被用来执行安全运维服务任务的各种设备、数据库、中间件、操作系统和Web服务器等所产生的日志，随着企业IT系统规模的不断扩大，其种类和数量正经历了巨大规模的上升，从而使日志存储、日志分析和问题跟踪变得越来越困难。企业IT系统的日志规模的这样指数级地增长，迫使安全运维服务提供商采用Hadoop/Spark这样的大数据架构来进行日志存储、日志处理和日志分析。

目前已有的安全管理分析工具，已无法胜任企业的安全运维服务的任务。因此，迫切需要一种全新的理念来对海量日志信息进行分析和管理。日志通常是一种扁平的文件，至少包含一个时间戳，事件标识符和事件描述信息。日志规模的上升是大数据的三大属性之一，大数据另外两个属性是速度和种类。速度表示生成数据的速度，种类表示非常异构的数据源。

为此，如何利用信息化手段提高企业的运营效益，优化企业信息系统，使得它能够为各类企业提供专业的和高性价比的信息安全运维服务，即成为尤其是信息安全运维管理设计上必须要解决的一个重要课题。

发明内容

本发明在分析了上述各类企业信息安全运维管理平台的缺陷和不足之后，提出了一种基于人工智能和MapReduce安全攻击预测方法及系统。