[发明专利]海量事件安全分析方法及装置

说明书

【技术领域】

本发明涉及一种海量事件安全分析方法及装置。

【背景技术】

随着计算机和通讯技术的高速发展，网络的开放性、互连性、共享性程度的扩大，企业越来越依赖信息和网络技术来支持他们在全球市场中的迅速成长和扩大。但随之而来的威胁也越来越多——黑客攻击、恶意代码、蠕虫病毒。现有的网络安全设备，如：防火墙，入侵检测系统，杀毒软件等，在网络异常的情况下会产生各种各样的告警信息，加上服务器本身的系统和应用程序的产生的告警，这些告警错综复杂，而且数量庞大。但是对于每种网络的异常情况在单一的网络设备上是不能确定的，只有将各种设备的海量告警综合在一起才分析才有可能确定异常的情况。而这个工作对于网络管理员来说是不可能完成的，但随着云计算的成熟，云平台和云计算已经不断在各个领域被利用，通过对海量事件安全分析才能准确的发现这些异常情况并且对异常情况提出解决方案。

而现有的关联分析产品主要是安全管理中心（SOC）或者是安全信息管理系统。（SIM），其主要是实现了以下的五功能：事件采集、事件储存、事件查询、事件关联分析以及告警通知。

现有的分析方法存在以下的局限性：

1．分析的方式局限：为了达到关联分析的实时和准确性，目前大部分的关联分析是基于内存的分析，设备的内存大小永远对于设备来说只是一个临时的存储，并且是所有进程共用的，并不能达到对海量临时信息的存储，这样无法对海量的事件进行更深入的分析。

2．分析范围的狭窄：传统的分析方式为了追求安全管理平台的可见性和易用性，只能对一些常见的异常和一些短时间的攻击，而对于现在越来越流行的0-day攻击和低速的拒绝服务攻击是没有无法进行发现。

3．没有完整的攻击表示方式：随着攻击的方式越来越隐蔽和多样化用户接到攻击告警后仍然需要到实际的环境中寻找攻击的实际路径。

【发明内容】

本发明要解决的技术问题之一，在于提供一种海量事件安全分析方法，分析准确、完整、迅速。

本发明要解决的技术问题之一是这样实现的：一种海量事件安全分析方法，包括如下步骤：

步骤10、对海量的原始事件进行存储；

步骤20、获取原始事件，对原始事件进行初步的基础分析，生成初步的分析结果，然后储存初步的分析结果；其中，该基础分析是对原始日志事件进行基础漏洞分析、规则分析和一些信息的确认；

步骤30、将初步的分析结果与原始事件进入分布式文件系统HDFS通过SQOOP进行并行分析，该并行分析的过程包括：通过脚本语言对所有原始事件和初步的分析结果中一些对挖掘无意义的信息进行过滤；以及通过脚本语言对所有源地址、源端口、目的地址、目的端口以及事件类型均相同的原始事件和初步分析结果进行归并操作，并按条件进行统计；

步骤40、通过一系列的配置和一系列的调度规则来从深入挖掘脚本库调用合适的深入挖掘脚本；该挖掘脚本是用于查看“基于源地址、目的地址或事件分类而进行的各类攻击”；

步骤50、在hadoop平台上借助轻度脚本语言（轻度脚本语言是指一种基于原始脚本语言封装后，并且只能在hadoop平台上执行的简单脚本语言）执行所调用的挖掘脚本，完成所有事件的源和目标IP的关联以及挖掘脚本之间的关联，形成挖掘结果；最后根据挖掘结果发现的异常情况在网络中进行定位；

步骤60、将异常情况和解决方案通过各种响应方式通知用户。

其中，所述步骤20中，所述基础漏洞分析是对事件本身由于某些漏洞引起的而需要进行的基础分析；所述规则分析是在短时间内对一些有相同属性的事件进行关联分析；所述一些信息的确认是指将原始事件中的地址和端口信息与防火墙上的NAT信息进行比对确认，以达到分析重要因素的准确性。

所述步骤30中，所述对挖掘无意义的信息包括平台未识别事件和防火墙允许的用户事件。

所述步骤50中在网络中进行定位是通过对异常目标反查的方式完成，该异常目标反查的方式是指将异常的事件源做为目标，对这些目标相关事件继续进行深入挖掘分析，重复上述过程，到相关的目标不存在事件为止。

本发明要解决的技术问题之二，在于提供一种海量事件安全分析装置，分析准确、完整、迅速。

本发明要解决的技术问题之二是这样实现的：一种海量事件安全分析装置，包括：

海量事件存储库：用于存放海量的原始事件；

基础分析引擎：用于对原始日志事件进行基础漏洞，规则的分析和一些信息的确认生成完整和准确的初步分析结果；

初步分析结果库：用于存放初步的分析结果；