[发明专利]一种基于聚类的大数据常态模式提取方法及系统

权利要求书

1.一种基于聚类的大数据常态模式提取方法，其步骤为：

1)中央服务器从各终端服务器采集样本数据，得到一总样本数据集；

2)从该总样本数据集中抽取若干样本，得到一抽样样本集合并对其进行聚类分析，得到若干簇；将聚类得到的簇作为样本的标签，对样本进行标注，然后根据选取的属性降维指标计算所述抽样样本集合中已标注样本每一属性的属性值辨识度、属性辨识度和或属性值重要性、属性重要性；

3)分别根据属性值辨识度、属性辨识度和或属性值重要性、属性重要性对属性进行排序，选取若干属性作为大数据降维后保留的属性；

4)对属性降维后的全体样本数据进行聚类，将聚类得到的簇作为样本的标签，对样本进行标注；

5)根据选取的属性划分指标计算步骤4)中已标注样本每一属性的属性值辨识度、属性辨识度和或属性值重要性、属性重要性，然后对计算结果进行排序选取若干属性特征对该总样本数据集进行划分，将划分结果作为常态模式；

其中，属性值辨识度的计算方法为：选取样本一属性i的一属性值a，计算具有该属性值a的样本属于标签j的条件概率值，以及未增加该属性值条件时样本属于该标签j的概率值；将所述条件概率值与所述概率值的差值作为该属性值a对于该标签j的属性值辨识度；将该属性值a对于所有标签的属性值辨识度的平方平均数作为该属性值a的属性值辨识度；

属性辨识度的计算方法为：根据属性i所有属性值辨识度计算该属性i的属性辨识度；

属性值重要性的计算方法为：将样本属性i取属性值a时属于标签j的样本量乘以该属性值a对于该标签j的属性辨识度，得到该属性值a对于该标签j的属性值重要性；将该属性值a对于所有标签的属性值重要性的平方平均数作为该属性值a的属性值重要性；

属性重要性的计算方法为：根据属性i所有属性值重要性计算该属性i的属性重要性。

2.如权利要求1所述的方法，其特征在于对该属性i所有属性值的属性值辨识度的平方平均数作为该属性i的属性辨识度。

3.如权利要求1所述的方法，其特征在于对该属性i所有属性值的属性值重要性的平方平均数作为该属性i的属性重要性。

4.如权利要求1或2或3所述的方法，其特征在于分别选用属性重要性最高的属性、属性辨识度最高的属性对样本进行划分，得到所述常态模式；或者选取划分结果与聚类结果的差异量小的原则选择属性重要性最高的属性或属性辨识度最高的属性对样本进行划分，得到所述常态模式。

5.如权利要求1或2或3所述的方法，其特征在于根据所述常态模式划分所依据的属性和属性值，命名所述常态模式的名称。

6.如权利要求5所述的方法，其特征在于命名所述常态模式的名称的方法为：在得到所述常态模式的过程中，记录每一所述常态模式所用到的属性和属性值；将第一所用的属性和或属性值记录为根节点，最后一次所用的属性和或属性值记录为叶节点；然后沿着根节点向该叶节点发展，将涉及的全部属性值的集合作为该常态模式的名称。