[发明专利]一种海量数据预处理方法及其系统

权利要求书

1.一种海量数据预处理方法，其特征在于，所述方法包括如下步骤：

（1）将海量数据以时间片轮转的方式进行存储，存储为文本文件并从小到大顺序编号；

（2）通过随机数生成算法和取模运算后，得到时间片编号，将此编号的时间片作为海量数据属性相关性分析的抽样样本；

（3）计算所述抽样样本中各个属性间的相关系数，建立属性相关系数为权值的矩阵；

（4）将所述矩阵通过和值计算得到各个属性的相关性权值w_i；

（5）将属性的相关性权值w_i，按照由大到小顺序进行排序；

（6）选取所述相关性权值w_i由大到小的前n个属性为要压缩的属性；

（7）将选取的n个属性从属性集中去除，留q-n个属性，完成数据降维的过程；其中，n为要降的维度，q为属性个数；

（8）选取所述相关性权值wi由小到大的前m个属性；其中m+n<=q；m为聚类分析的维数；

（9）将所述m个属性进行聚类分析，设定压缩后的数据数量，采用k中心算法对其进行计算分析，从而使数据压缩为设定的量，并使压缩后的数据具有代表性且保持数据间的相互关系。

2.如权利要求1所述的预处理方法，其特征在于，步骤（2）所述采用一个随机数产生器，通过随机数产生算法，将产生的数值对时间片的总数取模计算，得到的值作为抽样时间片的编号；

通过随机数产生器产生随机数，对时间片总数取模运算，得到抽样时间片编号的公式为：

num＝rand()modsum；

其中，rand()为随机数产生器，sum为时间片的总数，num为最后抽样的时间片编号。

3.如权利要求1所述的预处理方法，其特征在于，步骤（3）计算属性的相关系数的公式为：

rAB=Σ(A-A‾)(B-B‾)(q-1)σAσB;]]>

其中，和分别是A和B的均值，σ_A和σ_B是A和B的标准差，q为属性个数。

4.如权利要求1所述的预处理方法，其特征在于，步骤（3）所述属性相关系数为权值的矩阵为：

其中，该矩阵为对称矩阵，r_ij为属性i、j的相关系数，q为属性个数。

5.如权利要求1所述的预处理方法，其特征在于，步骤（3）和值计算公式为：

wi=1q∑j=1q|rij|]]>

其中，r_ij为属性i、j的相关系数，q为属性个数。