[发明专利]一种基于网络行为分析的Hadoop恶意节点检测系统

说明书

技术领域

本发明涉及网络行为领域，具体涉及一种基于网络行为分析的Hadoop恶意节点检测系统。

背景技术

基于网络行为的恶意分析，首先在集群中建立监控模块，对每个节点的行为进行监控，同时设定监控中心负责记录这些节点的关键行为，并且利用这些行为训练评估模型，通过不断迭代训练，保持一个良好的评估模型实时评估集群内节点的状态。在集群中，如若某个节点遭到了攻击，运行了恶意程序，那么就会产生大量与其他节点不同的行为，这是判定的核心条件。

目前基于网络行为分析的恶意程序监测技术已经有不少阶段性成果，例如NICTER系统、TrumanBox系统、AMCAS系统等。这些系统主要思路几乎都是根据网络分析，构建虚拟网络来触发恶意程序，由此定位恶意程序，然而在针对hadoop内部恶意节点的检测研究比较少，当前服务较为完善的安全保证框架主要有SecureMR，VIFA等，但是都有一定局限性。

1)SecureMR：Secure MapReduce，是针对MapReduce计算模型中映射、化简工作进行增强改进的框架，增加了Secure Committer、Secure Verifier模块,并设计实现了这些模块的通信协议,能够保证非共谋的工作节点计算结果的正确性和映射、化简节点的安全性,但是对一组共谋恶意节点的恶意行为该框架无法有效地检测。

2)VIFA:Verification-based Integrity Assurance Framework.一种基于验证的服务完整性保证框架,在云计算中引入高安全级别、可信的验证工作节点,并假设化简工作节点是可信的,对映射工作节点的计算结果进行iH确性验证,而且对所有任务都进行复制执行,引入“信誉值”的计算模型,能够有效检测非共谋、共谋的恶意节点,但每一份映射任务都分配给两个工作节点进行重复计算,会严重影响云计算系统的任务处理性能；验证节点是成本很高的计算资源,应该更合理、高效地使用,VIAF中是根据概率统计结果对工作节点的计算结果进行验证,没有引入缓存机制对热门任务缓存,会造成验证节点的资源浪费。

异常网络行为：计算机在不同网络层有不同的协议与行为，恶意程序常常大量产生或规律产生某种类型的网络行为，我们称这些网络行为为异常的网络行为。

恶意节点：集群环境中，存在大量的工作节点，正常情况下工作节点只会响应控制中心的任务派遣，但是如果遭到恶意程序攻击，某些节点就会产生独立的恶意行为，我们称这些节点为恶意节点。

监督学习：利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习，是一种利用已知的运行数据来进行训练的过程。

异常评估：根据监督学习训练获取的模型，结合当前实时运行状态，对当前节点运行情况进行风险评估。

目前该领域的技术缺少对集群内节点本身任务的综合考虑，对于一部分hadoop节点，如果执行共同的任务，那么行为会极其相似，但是如果执行的不是同类任务，那么出现较大差异也是可以接受的，因此在对节点进行恶意行为分析的时候必须考虑到该节点当前执行的任务，即可以从系统日志入手，结合网络行为共同分析。

发明内容

本发明针对目前大部分恶意程序都具有一定的网络行为，甚至渗透至集群内部进行恶意行为的现状，为了保护集群内部的安全，提供一种基于网络行为分析的Hadoop恶意节点检测系统，实现一种利用对网络行为的分析技术以及机器学习中的监督学习方法来对集群内部节点进行异常检测的系统。

本发明通过以下技术方案进行实现：

一种基于网络行为分析的Hadoop恶意节点检测系统，包括网络行为监控模块、节点日志分析模块、节点负载分析模块、训练评估模型恶意检测模块，首先网络行为监控模块、节点日志分析模块、节点负载分析模块三个模块运行于各个节点上，负责采集监控以及初步分析信息，恶意检测模块运行于分析主机上，接收各个节点的采集到的信息后进行模型训练与恶意检测，同时定时进行模型更新与存储；

网络行为监控模块用于监控各个节点实时的网络通信行为，其中包含各类关键协议的数据包发送接收数量及其源目的IP地址的信息；

节点日志分析模块用于分析各个Hadoop功能节点目前所处状态以及相应MapReduce任务信息分析；

节点负载分析模块用于监控分析各个节点实时负载情况；所述实时负载包括CPU、内存占有率以及网络负载；