[发明专利]一种保证质量单调性的大规模数据挖掘方法

摘要

本发明给出一种保证质量单调性的数据挖掘方法，该方法将原始大数据集用PCA技术压缩处理后映射到R‑tree数据结构上；然后改进改进的K近邻分类算法对数据集进行挖掘处理。本发明给出的方法主要包含两部分：编码部分及挖掘部分，其中编码部分利用R‑tree来表示数据，它将数据中有高相似性的数据组合在一起，作为R‑tree的一个结点，以达到对海量数据压缩的目的并提高挖掘部分的效率；挖掘部分利用改进的K近邻分类算法的思想，对数据结点进行处理，预测输入的测试点分类。本发明能解决传统的算法在进行有限的时间及资源限制下对大数据挖掘时，很难做到挖掘结果的质量与资源限制的平衡以及保证近似结果质量单调性的问题。

主权项

1.一种保证质量单调性的大规模数据挖掘方法，其特征在于该方法包括以下步骤：步骤1)获得用户输入的待进行挖掘的数据，数据的格式为表格的形式，一行为一条数据记录，一行中的每一列为一个数据记录的一个属性，所述的数据由n'条数据记录组成，每个数据记录有p个属性，将这p个属性表示为p个变量[x1,x2,...,xp]，有n'条数据记录、每个数据记录有p个属性的数据集表示为：的形式；将该数据集按照用户指定的比例分为训练集和测试集两部分，所述的训练集是数据记录的集合，当训练集中的数据记录条数为n，该训练集表示为[X1,X2,...,Xi...,Xn]，其中Xi＝[x1i,x2i,...,xpi],i＝1,...n；所述训练集和测试集的比例根据用户的要求划分，训练集取总样本的80％到90％之间的任意一个值，输入数据中训练集之外的部分为测试集，步骤2)对训练集进行编码，具体步骤如下：步骤21)利用主成分分析PCA方法对训练集进行预处理，获得训练子集具体过程如下：①对训练集进行标准化处理，标准化的过程按照下式进行：所述d＝1,2,…,p；j＝1,2,…n，标准化后的矩阵用“*”标记，训练集标准化后计算得到：②计算样本相关系数矩阵：根据训练集标准化得到的X^*，样本相关系数为：其中t＝1,2,…n；③求相关系数矩阵R的特征值(λ1,λ2,...,λn)和相应的特征向量aj＝(a1j,a2j,…,anj)；④根据相关系数矩阵R的特征值(λ₁,λ₂,...,λ_n)，依次计算贡献率选取贡献率较大的前g个主要属性x₁,…,x_g，其中g＜n，将该g个属性作为训练数据集新的属性，并形成训练子集将该训练子集表示为的形式；所述的主成分分析是将原有的多个属性转化成少数具有代表性的综合属性，这几个少数属性能够反映原来数据的大部分信息，并且各个属性之间保持独立；步骤22)将训练子集上的数据映射到R树的数据结构上，具体过程如下：①将训练子集中的每个数据表示为一条记录，并将属性作为记录字段存放在数据库中，尽可能将属性值接近的对象存放在数据库相近位置；②根据数据库中存放的数据记录从空树开始构建R树，从根节点r开始，根据插入数据对象后其最小包围矩形MBR面积增加量最小的原则，插入r的临近点作为r的子节点加入R树，重复上述过程直到训练子集上的所有数据都在R树上为止，所述的R树为一个高度平衡树,用空间对象的MBR来近似表达空间对象，根据MBR建立R树，直接对空间中占据一定范围的空间对象进行索引，R树的每个结点对应着数据库中的数据；步骤23)将R树上的同层所有节点用一个二进制编码(0,1)的一串数字表示，将R树转化为一组二进制编码集；所述编码规则为：同层节点数越多的相应二进制编码值大，二进制编码集中元素的个数与R树的层数相等；步骤24)判断编码是否满足熵的单调性；所述熵的单调性为：假设给定一个数据集S及其上的一个数据s，如果对于任意两个编码值a≤b，H(S|C＝C(S＝s,a))＞＝H(S|C＝C(S＝s,b))，则证明满足熵的单调性；所述H(S|C＝C)为条件熵H(S|C＝C)＝H(SC)‑H(C),f为概率；S为数据集；C为编码集；选取步骤23)生成的任意多条编码值，选取其中的两条编码值a、b，选取条件是a≤b，比较H(S|C＝C(S＝s,a))与H(S|C＝C(S＝s,b))两者大小,并得到结果H(S|C＝C(S＝s,a))＞＝H(S|C＝C(S＝s,b))；根据熵的单调性可判断该部分编码值满足该性质；步骤3)获取步骤23)中最大的编码值，利用该编码值对训练数据进行挖掘；步骤31)选定测试集中的一个数据q；步骤32)求得q＝(x',y')与每个训练样例z(x,y)∈D之间的距离计算采用欧式距离计算方法，选取其中与测试数据q点带权路径最短的k个数据；所述的k值选取利用k交叉验证的方法选择合适的k值，k交叉验证是一种使用现有数据集的方法，将数据集分为大小相等的k份，每份轮流作为验证集，其他k‑1份则作为训练集的验证方法；步骤33)分别求得k个数据中属于同一类别的数据的个数其中然后依次比较的大小，获得其中的最大值n_γ，其中测试样例q的类标号由距离加权表决：根据求得的包含最多数据点q'的数据类别，对测试数据q的类别进行预测，并将q的类别判定为包含数目最多的数据q'的类别类型，所述的加权为：距离权值w_μ和距离β成反比关系,用公式计算，其中用欧式距离的计算方法来计算，即步骤4)选取步骤23)生成的两条编码值a、b，根据步骤24)得到结果H(S|C＝C(S＝s,a))＞＝H(S|C＝C(S＝s,b))；分别求取H(OR|AR＝M(a))及H(OR|AR＝M(b))的值，通过比较两者值的大小得到结果H(OR|AR＝M(a))＞＝H(OR|AR＝M(b))，根据保熵性可判断该部分满足其性质；所述的保熵性描述为：假设给定一个数据集S，如果对于任意两个长度的编码值a＜＝b，假设H(S|C＝a)＞＝H(S|C＝b),若H(OR|AR＝M(a))＞＝H(OR|AR＝M(b))即Q(M(a))＜＝Q(M(b)),则证明挖掘部分满足保熵性；所述M(a)为挖掘函数，输入编码值a输出近似结果；所述M(b)为挖掘函数，输入编码值b输出近似结果；OR为挖掘输出的最优结果；AR为输出的近似结果；Q(ar)为挖掘结果质量测量的测量方法；Q(ar)＝H(OR)‑H(OR|AR＝ar)，ar为近似结果AR的某个值；所述Q(M(a))＝H(OR)‑H(OR|AR＝M(a))，Q(M(b))＝H(OR)‑H(OR|AR＝M(b))；步骤5)