[发明专利]基于聚类的大数据属性重要性和辨识度的预警方法及系统

摘要

本发明公开了一种基于聚类的大数据属性重要性和辨识度的预警方法及系统。本方法为首先根据时间段划分样本，其次使用抽样‑>聚类‑>计算降维指标进行大数据降维，将聚类获得的簇作为已知的标签，再次针对降维后的数据，使用聚类算法对样本聚类，将聚类结果作为分类标签，使用属性重要性和辨识度提取方法，提取由数据本身决定的属性对分类的影响力”标，包括属性值辨识度、属性辨识度、属性值重要性、属性重要性；最后，将各个时间段的四项指标分别形成时间序列，使用拐点分析方法进行时间序列的研究，可以做出不同层面的异常值预警，预警效果好。

主权项

一种基于聚类的大数据属性重要性和辨识度的预警方法，其步骤为：1)中央服务器从各终端服务器采集样本数据，并按照时间段对样本数据进行划分，每个时间段对应一样本数据集；2)对于每一时间段的样本数据集，从中抽取若干样本构建一抽样样本集合，并对其进行聚类分析，得到若干簇；将聚类得到的簇作为样本的标签，对样本进行标注，然后根据选取的属性降维指标计算所述抽样样本集合中已标注样本每一属性的属性值辨识度和属性辨识度，和/或，属性值重要性和属性重要性；其中，所述属性降维指标包括属性辨识度和/或属性重要性；当选择属性辨识度作为属性降维指标时，计算所述抽样样本集合中已标注样本每一属性的属性值辨识度和属性辨识度；当选择属性重要性作为属性降维指标时，计算所述抽样样本集合中已标注样本每一属性的属性值重要性和属性重要性；当选择属性辨识度和属性重要性共同作为属性降维指标时，计算所述抽样样本集合中已标注样本每一属性的属性值辨识度、属性辨识度、属性值重要性和属性重要性；3)当选择属性辨识度作为属性降维指标时，根据属性值辨识度和属性辨识度对属性进行排序；当选择属性重要性作为属性降维指标时，根据属性值重要性和属性重要性对属性进行排序，当选择属性辨识度和属性重要性共同作为属性降维指标时，根据属性值辨识度、属性辨识度、属性值重要性和属性重要性对属性进行排序；然后选取排序靠前的若干属性作为大数据降维后保留的属性；4)对属性降维后的全体样本数据进行聚类，将聚类得到的簇作为样本的标签，对样本进行标注；5)计算步骤4)中已标注样本每一属性i的设定监控指标，然后根据属性i的每一设定监控指标在各个时间段的取值构建该属性i的各设定监控指标常态区域；所述设定监控指标为属性值辨识度和/或属性辨识度和/或属性值重要性和/或属性重要性；6)计算该属性i当前时刻的设定监控指标的指标值，如果某一项设定监控指标值超出相应的常态区域，则对其进行监控并计算该项设定监控指标下一时刻的指标值，如果继续超出相应的常态区域，则对该属性i的该项设定监控指标进行预警；其中，属性值辨识度的计算方法为：选取样本一属性i的一属性值a，计算具有该属性值a的样本属于标签j的条件概率值，以及未增加该属性值条件时样本属于该标签j的概率值；将所述条件概率值与所述概率值的差值作为该属性值a对于该标签j的属性值辨识度；将该属性值a对于所有标签的属性值辨识度的平方平均数作为该属性值a的属性值辨识度；属性辨识度的计算方法为：根据属性i所有属性值辨识度计算该属性i的属性辨识度；属性值重要性的计算方法为：将样本属性i取属性值a时属于标签j的样本量乘以该属性值a对于该标签j的属性辨识度，得到该属性值a对于该标签j的属性值重要性；将该属性值a对于所有标签的属性值重要性的平方平均数作为该属性值a的属性值重要性；属性重要性的计算方法为：根据属性i所有属性值重要性计算该属性i的属性重要性。