[发明专利]一种基于网络行为分析的Hadoop恶意节点检测系统

摘要

本发明针对目前大部分恶意程序都具有一定的网络行为，甚至渗透至集群内部进行恶意行为的现状，为了保护集群内部的安全，提供一种基于网络行为分析的Hadoop恶意节点检测系统。该系统包括网络行为监控模块、节点日志分析模块、节点负载分析模块、训练评估模型恶意检测模块，首先网络行为监控模块、节点日志分析模块、节点负载分析模块三个模块运行于各个节点上，负责采集监控以及初步分析信息，恶意检测模块运行于分析主机上，接收各个节点的采集到的信息后进行模型训练与恶意检测，同时定时进行模型更新与存储。

主权项

一种基于网络行为分析的Hadoop恶意节点检测系统，其特征在于：包括网络行为监控模块、节点日志分析模块、节点负载分析模块、训练评估模型恶意检测模块，首先网络行为监控模块、节点日志分析模块、节点负载分析模块三个模块运行于各个节点上，负责采集监控以及初步分析信息，恶意检测模块运行于分析主机上，接收各个节点的采集到的信息后进行模型训练与恶意检测，同时定时进行模型更新与存储；其中：网络行为监控模块用于监控各个节点实时的网络通信行为，其中包含各类关键协议的数据包发送接收数量及其源目的IP地址的信息；节点日志分析模块用于分析各个Hadoop功能节点目前所处状态以及相应MapReduce任务信息分析；节点负载分析模块用于监控分析各个节点实时负载情况；所述实时负载包括CPU、内存占有率以及网络负载；恶意检测模块用于将节点上采集的信息进行统一分析，利用这些信息提取特征，再利用提取出的特征向量集训练恶意检测模型，最终利用该模型对各个节点的实时信息进行恶意检测；所述的恶意检测模块采用机器学习的方法来对恶意节点进行分析检测，具体步骤包括：步骤一、Feature选取：选取不同时间段内各种监控范围内协议的数据包数量与目标IP，对每一个监控协议的数据包进行取样，最终在分析机上形成一个大型的网络行为库，该行为库作为目前节点状态的判定标准，同时作为下一阶段训练的样本数据；步骤二、训练过程：采用CART决策树的方法进行训练；步骤三、评估过程：设定一个风险标准x，即可以指定检验的拟合程度，x设定值在(0,1)区间内，值越高，系统检测越严格，同时误报率也会增高，漏报率减少；值越低，检测将会越宽容，相对误报率减少，但是漏报率会相应上升；步骤四、模型更新：设定一个阈值，当森林中每棵树预测次数大于该阈值的情况下，将会重新训练整个森林，以满足集群运行时产生的不可避免的环境变化。