[发明专利]一种基于遗传模糊聚类的系统数据异常检测方法

说明书

本发明涉及一种基于遗传模糊聚类的系统数据异常检测方法，属于数据异常检测技术领域。本发明首先对系统平台采集到的数据集进行离散标准化处理，将离散标准化处理后的数据集随机化并划分成训练样本集和测试样本集。对测试样本集进行模糊聚类处理，对模糊处理后的得到的聚类中心进行遗传运算。然后得到一个最佳分类数目和对应的聚类结果集。然后对聚类结果集进行标类，获得正常数据集的各个聚类中心和异常数据集的各个聚类中心。再然后计算测试样本集中的每个样本与标类后的各个数据集聚类中心的距离，可以认为与测试样本集中的每个样本具有最小距离测度的子类即为其所属聚类，从而可以测试出测试样本集中的异常数据。

技术领域

本发明涉及一种基于遗传模糊聚类的系统数据异常检测方法，属于数据异常检测技术领域。

背景技术

随着信息技术的高速发展，基于服务的系统平台数据往往在传输过程中可能由于各种各样的原因而造成数据异常。FCM模糊聚类算法常常被应用于数据异常检测领域，然而传统的FCM模糊聚类算法容易陷入局部最优点的问题。为了解决此问题，本发明采用FCM模糊聚类算法与遗传算法结合的异常检测方法应用于系统平台数据异常检测领域，可以解决FCM算法易陷入局部最优点的问题。异常数据集往往是混合属性的特点，在处理这些具有混合属性特点的异常数据集过程中，计算量非常大，本发明针对这一特点，改进了距离测度的计算方法，将计算量大大减少。

发明内容

本发明要解决的技术问题是提供一种基于遗传模糊聚类的系统数据异常检测方法，首先考虑到系统平台提供的数据集往往是具有混合属性的特点，改进了距离测度的计算，并结合遗传算法解决了模糊聚类算法易于陷入局部最优点的问题。

本发明的技术方案是：一种基于遗传模糊聚类的系统数据异常检测方法，具体步骤为：

Step1：首先，对系统提供的数据集中所有数据进行标准化处理，然后对标准化处理后的所有数据分别进行随机化处理，再然后将随机化处理后的数据进行划分，最后得到训练样本集TR和测试样本集TE。

Step2：确定训练样本集TR的最大分类数C_max与最小分类数C_min，组成一个关于最大分类数C_max与最小分类数C_min的集合c＝{C_min,C_min+1,...,C_max}，构建混合属性数据集的模糊聚类模型和遗传算法模型，将最大分类数C_max与最小分类数C_min的集合c传递给这些模型，得到一个关于目标函数值的集合OFV，集合中OFV的每一个值都对应一个聚类数目，将这些聚类数目组成一个集合，设为CN。

Step3：通过Step2获得的集合OFV和集合CN，结合集合OFV中最小元素集合和方差分析，来分析得到最佳分类数目C^*。

Step4：将Step3中获得的最佳分类数目C^*，生成相对应的聚类结果记为C，而C_i,i＝1,2,...,C^*，其中C_i表示第i类聚类结果集合,以及相对应的聚类中心PCC，而PCC_i,i＝1,2,...,C^*，其中PCC_i表示第i类中心。

Step5：将Step4获得的聚类结果C进行标类，标类的目的是在结果中区分出状态正常的聚类和异常的聚类；

区分原则为：

设定一个比例系数η,0＜η＜1，如果则认为是正常聚类结果类，否则为异常聚类结果类。

其中，Count(C_i)表示聚类结果C中第i类聚类结果集合的数量，Count(TR)表示训练样本集的数量。