[发明专利]一种海量数据预处理方法及其系统

摘要

本发明涉及一种海量数据预处理方法及其系统，通过以相关系数作为数据降维和压缩的依据，有效的利用的属性之间的相关性。将海量数据以时间片轮转的方式进行存储和顺序编号，通过随机数生成算法和取模运算后，确定抽样样本的编号。提取样本后进行相关性的分析，将属性间的相关系数作为属性相关性矩阵的值，通过相关系数的计算得到体现属性相关性的权值。权值越大即属性的相关性越强，反之亦然。以相关性分析为基础，将相关性强的属性在降维过程中吸收掉，将相关性弱的属性进行聚类分析，有效的利用属性相关性，在保持原数据内在信息的基础上，实现海量数据的降维和压缩。

主权项

一种海量数据预处理方法，其特征在于，所述方法包括如下步骤：（1）将海量数据以时间片轮转的方式进行存储，存储为文本文件并从小到大顺序编号；（2）通过随机数生成算法和取模运算后，得到时间片编号，将此编号的时间片作为海量数据属性相关性分析的抽样样本；（3）计算所述抽样样本中各个属性间的相关系数，建立属性相关系数为权值的矩阵；（4）将所述矩阵通过和值计算得到各个属性的相关性权值wi；（5）将属性的相关性权值wi，按照由大到小顺序进行排序；（6）选取所述相关性权值wi由大到小的前n个属性为要压缩的属性；（7）将选取的n个属性从属性集中去除，留q‑n个属性，完成数据降维的过程；其中，n为要降的维度，q为属性个数；（8）选取所述相关性权值wi由小到大的前m个属性；其中m+n<=q；m为聚类分析的维数；（9）将所述m个属性进行聚类分析，设定压缩后的数据数量，采用k中心算法对其进行计算分析，从而使数据压缩为设定的量，并使压缩后的数据具有代表性且保持数据间的相互关系。