[发明专利]一种网络入侵检测方法及系统

说明书

本发明提供了一种网络入侵检测方法，包括以下步骤：(1)对历史终端行为数据进行数据处理；(2)判断是否存在Kmeans聚类分析模型，如果不存在，根据历史终端行为数据建立基于spark的Kmeans聚类分析模型，进入步骤(3)，如果存在，直接进行步骤(3)；(3)根据所述Kmeans聚类分析模型对新接收到的终端行为数据进行分析；(4)检测到网络入侵和可疑连接行为，并进行攻击链地图展示。提高功能扩展和时效性，降低漏报率，使人机界面更为友好。

技术领域

本发明属于计算机网络技术领域，涉及一种终端异常行为分析方法。

背景技术

分析终端异常行为、检测网络入侵是要找到与以往所见的正常连接不同的连接，对保障网络安全至关重要。现有常用的检测网络入侵的方法为基于异常的网络入侵检测系统(A-NIDS)。A-NIDS又分为基于异常数据包的入侵检测和基于异常网络流量的入侵检测。基于异常数据包的入侵检测中，从网络中获得数据来源，根据异常数据包特征库的特征，对捕获到的数据包进行实时分析，若数据包与异常数据包特征库中某一特征相匹配，则认为是一个异常数据包。基于异常数据包的入侵检测的缺点是需要不断更新异常数据包特征库，否则如果异常数据包的特征未收集在异常数据包特征库，则难以识别异常数据包。基于异常网络流量的入侵检测中，根据采样所得到的样本来预测当前网络的流量，若当前网络流量与预测相比有较大差异，具体表现为突发性网络流量激增，可以认为网络流量发生异常。当异常确定为入侵时，将产生报警。基于异常网络流量的入侵检测的缺点是小流量下的入侵不能被检测到，且如果正常流量行为突然出现增加，会导致系统误判。

聚类就是对大量未知标注的数据集，按数据的内在相似性将数据集划分为多个类别，使类别内的数据相似度较大而类别间的数据相似度较小。聚类是最有名的非监督学习算法，Kmeans是应用最广泛的聚类算法，它试图在数据集中找出k个簇群。在Kmeans算法中，数据点是由所有数值型特征组成的特征向量，简称向量。数据点相互距离一般采用欧氏距离，如点1(x11，x12，x13，…，x1n)，点2(x21，x22，x23，…，x2n)之间的距离计算如下：

Kmeans算法中簇群实质上是一个点，即组成该簇群的所有点的中心(称为质心)，它是簇群中所有点的算术平均值，因此算法取名Kmeans。算法开始时随机选择k个数据点作为簇群的质心，然后把每个数据点分配给最近的质心，接着对每个簇群计算该簇群所有数据点的平均值，并将其作为该簇群的新质心，然后不断重复该过程直到质心稳定不再变化，由此得到k个簇群。以数据集合为三维，簇群内为两点，两点分别为X＝(x1,x2,x3),Y＝(y1,y2,y3)为例，中心点Z变为Z＝(z1,z2,z3)，其中z1＝(x1+y1)/2，z2＝(x2+y2)/2，z3＝(x3+y3)/2。Kmeans聚类算法有以下优点：1.作为解决聚类问题的一种经典算法，具有简单、快速的特点；2.对处理大数据集具有可伸缩性和高效率；3.当结果簇密集时效果较好。虽然目前已有将Kmeans模型用于网络入侵检测的方法(如CN 107895171A)，但该方法通过深度置信网络与Kmeans算法结合分类，算法复杂，且Kmeans模型的训练数据为几种攻击类型的异常数据，在异常数据收集不完整时存在出现漏报的风险。

发明内容

针对现有入侵检测方法中存在的问题，基于Kmeans算法特点，本发明提供了一种基于spark的机器学习Kmeans分析模型的终端异常行为分析方法。检测网络入侵及可疑连接的本质是要找到与以往见过的正常连接不同的连接，本发明根据每个网络连接的统计属性进行聚类，聚类的结果簇定义了正常的历史连接类型，界定了正常连接的区域，任何在区域之外的点都是不正常的、可疑的，将正常连接区域之外的点认定为网络入侵。本发明还将终端行为分析结果的攻击链通过地图显示，并提供了相应的分析系统。