[发明专利]一种基于网络行为分析的Hadoop恶意节点检测系统

权利要求书

1.一种基于网络行为分析的Hadoop恶意节点检测系统，其特征在于：包括网络行为监控模块、节点日志分析模块、节点负载分析模块、训练评估模型恶意检测模块，首先网络行为监控模块、节点日志分析模块、节点负载分析模块三个模块运行于各个节点上，负责采集监控以及初步分析信息，恶意检测模块运行于分析主机上，接收各个节点的采集到的信息后进行模型训练与恶意检测，同时定时进行模型更新与存储；其中：

网络行为监控模块用于监控各个节点实时的网络通信行为，其中包含各类关键协议的数据包发送接收数量及其源目的IP地址的信息；

节点日志分析模块用于分析各个Hadoop功能节点目前所处状态以及相应MapReduce任务信息分析；

节点负载分析模块用于监控分析各个节点实时负载情况；所述实时负载包括CPU、内存占有率以及网络负载；

恶意检测模块用于将节点上采集的信息进行统一分析，利用这些信息提取特征，再利用提取出的特征向量集训练恶意检测模型，最终利用该模型对各个节点的实时信息进行恶意检测；所述的恶意检测模块采用机器学习的方法来对恶意节点进行分析检测，具体步骤包括：

步骤一、Feature选取：选取不同时间段内各种监控范围内协议的数据包数量与目标IP，对每一个监控协议的数据包进行取样，最终在分析机上形成一个大型的网络行为库，该行为库作为目前节点状态的判定标准，同时作为下一阶段训练的样本数据；

步骤二、训练过程：采用CART决策树的方法进行训练；

步骤三、评估过程：设定一个风险标准x，即可以指定检验的拟合程度，x设定值在(0,1)区间内，值越高，系统检测越严格，同时误报率也会增高，漏报率减少；值越低，检测将会越宽容，相对误报率减少，但是漏报率会相应上升；

步骤四、模型更新：设定一个阈值，当森林中每棵树预测次数大于该阈值的情况下，将会重新训练整个森林，以满足集群运行时产生的不可避免的环境变化。

2.如权利要求1所述的一种基于网络行为分析的Hadoop恶意节点检测系统，其特征在于：进一步地，所述的训练包括以下步骤：

(1)给定训练集S，特征维数F；确定参数：森林中CART树棵树t，每棵树的深度d，每个节点使用到的特征数量f，终止条件：节点上最少样本数s，节点上最少的信息增益m；

对于第1-t棵树，i＝1-t：

(2)从S中有放回的抽取大小和S一样的训练集S(i)，作为根节点的样本，从根节点开始训练；

(3)如果当前节点上达到终止条件，则设置当前节点为叶子节点，该叶子节点的预测输出为当前节点样本集合中数量最多的那一类c(j)，概率p为c(j)占当前样本集的比例，然后继续训练其他节点；如果当前节点没有达到终止条件，则从F维特征中无放回的随机选取f维特征，利用这f维特征，寻找分类效果最好的一维特征k及其阈值th，当前节点上样本第k维特征小于th的样本被划分到左节点，其余的被划分到右节点，继续训练其他节点；

(4)重复(2)(3)直到所有节点都训练过了或者被标记为叶子节点；

(5)重复(2),(3),(4)直到所有CART都被训练过。

3.如权利要求1所述的一种基于网络行为分析的Hadoop恶意节点检测系统，其特征在于：进一步地，所述的网络行为监控模块同时监控如下几个关键协议的网络行为：

ICMP，用于在IP主机、路由器之间传递控制消息；

HTTP；

FTP，常用的下载、上传恶意程序和数据的方式，通过下载的恶意程序或脚本来执行恶意代码，或将窃取的数据上传至指定服务器；

SMTP，被恶意程序利用来进行资料发送；

Telnet，恶意程序通过该命令远程控制计算机。