[发明专利]一种基于大数据算法的失陷主机检测方法

说明书

本发明提供一种基于大数据算法的失陷主机检测方法，该方法通过模拟黑客或者僵尸、木马、蠕虫等病毒攻击主机的全过程，利用大数据算法的判断识别攻击的全过程，并搭建真实的病毒局域网环境，利用病毒局域网收集病毒的攻击行为数据样本，将其攻击样本放到算法和安全设备中检测算法和安全设备上报的异常，最后基于逻辑回归算法学习出各个攻击过程所占的权重。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于大数据算法的失陷主机检测方法。

背景技术

主机是计算机网络或者是通讯网络中使用的各种设备，这些设备包括但不局限于计算机、交换机、路由器和安全设备等。黑客攻击主机，或者是僵尸、木马、蠕虫等病毒对主机进行攻击，以导致主机被控制甚至直接瘫痪，将这一攻击的全过程称为主机失陷。

目前大部分安全设备防护的都是都是针对一个或者多个域来进行防护的，因此设备的安全策略绝大多数是共用的，能将规则适用于域中所有主机，拦截下很多常见的攻击。正是因为这些普遍性的防护，会很容易被黑客或者僵尸、木马、蠕虫等病毒有针对性的绕过安全设备，对某台主机进行攻击。且常规的安全设备缺少对阶段性的检测，没有很好的关联当前发生的所有安全事件。所以，现在迫切需要一种技术能对单台主机的异常进行检测，由此才能从根源上防护黑客或者僵尸、木马、蠕虫等病毒的攻击。

传统的安全设备都具有普遍性，能够兼容一个甚至多个域中的主机进行防护。虽然此方法快速、便捷、兼容性高，但是无法防护带有针对性的特殊攻击，且无法根据对同一主机的不同攻击进行关联判断，因此使用传统的安全设备很容易造成误报、漏报。

发明内容

首先搭建一个真实的局域网环境，人为的攻击局域网或者种下僵尸、木马、蠕虫等某种病毒，然后再通过在网络节点中部署专门的协议解析工具，从数据链路层、网络层、传输层逐层拆封数据报文，解析主机日志、协议头部中的 IP 地址信息、请求包数量、访问域名、端口等多个特征，利用大数据平台Spark对数据进行预处理，将处理后的数据存入至分布式存储系统Hadoop的hdfs中，作为各个算法的负样本。之后收集局域网中的正常数据，作为算法的正样本。通过让算法学习多种黑客攻击和僵尸、木马、蠕虫等病毒的攻击行为，使其算法变得成熟。最后将检测体系部署真实的环境中，当出上报某种异常的分数大于阈值时，进行告警。

为了实现所述目的，本发明提供的一种基于大数据算法的失陷主机检测方法方案如下所述：

步骤S1：搭建一个真实的局域网环境，人为的攻击局域网或者种下僵尸、木马、蠕虫等某种病毒，提取的信息包含IP 地址信息、端口信息、流量大小、协议类型、dns域名、记录时间、应答标志、主机日志、请求类型、回答类型、流量发生时间、IPS/IDS日志、入侵审计日志、防火墙日志等，并将这些作为负样本数据存储到Hadoop的hdfs中。

步骤S2：基于间歇性连接分析、上下行流量异常分析、隐蔽通道分析、端口异常分析、服务器主动外联行为分析、可疑域名分析、流量异常分析、基于DNS的僵尸网络检测、基于Netflow的僵尸网络检测等9个算法模型的需要，提取Netflow、Http、Dns流量，针对这些流量做算法模型的特征工程预处理。

步骤S3：收集实际生产环境的正常数据，提取的信息包含IP 地址信息、端口信息、流量大小、协议类型、dns域名、记录时间、应答标志、主机日志、请求类型、回答类型、流量发生时间、IPS/IDS日志、入侵审计日志、防火墙日志等，并将这些数据作为正样本存储到Hadoop的hdfs中。

步骤S4：利用局域网和实际生产环境得到的正负数据样本，将正样本和负样本按照1:1的比例进行混合，经过步骤S2的特征预抽取后，将相应的数据根据模型的需要，处理后代入间歇性连接分析、上下行流量异常分析、隐蔽通道分析、端口异常分析、服务器主动外联行为分析、可疑域名分析、流量异常分析、基于DNS的僵尸网络检测、基于Netflow的僵尸网络检测等9个算法模型中学习训练，并调整好算法模型参数。