[发明专利]一种海量数据的快速建模方法

权利要求书

1.一种海量数据的快速建模方法，其特征在于，本方法包括如下步骤：

步骤一：根据当前结点所包含的记录的ID集进行操作；连续从外存读取当前结点包含了其ID号的记录；第一次执行此步骤时，当前结点包含了数据库中存放的数据集的所有记录的ID，这些ID存放在一个文件中；每读入一条记录后，如果该记录属于新类i，i＝1、2，则创建v_i和w_i(v_i为关于类i的p维向量，p是单属性个数；w_i为关于类i的p×p矩阵)并初始化为0，并将类i加入到类集合中，然后更新每个v_i和w_i的值，其中v_i的第j个分量存储属于类i的所有记录的第j个属性值的和；对每个j和r(j，r＝1，2，…，p)，x_j·x_r是每条记录第j分量和第r分量的乘积，属于类i的所有记录的x_j·x_r之和存放在w_i的第j行第r列，更新完毕进行存储；然后释放这条记录所占的内存空间；

步骤二：创建V₁，W₁和V₂，W₂并初始化为0；将属于不同类的v_i和w_i分成两组，将v_i的各分量加到v_i所属组对应的分量上，并将w_i的每个位置上的元素加到w_i所属组对应的位置上；

步骤三：通过V₁，W₁和V₂，W₂计算类1数据和类2数据的均值向量和样本协方差矩阵，计算总体样本协方差矩阵及其逆矩阵；

步骤四：采用一定的筛选比例筛选需要被测试的属性集，筛选比例范围为75％-85％；

步骤五：设通过步骤四筛选的属性集合是A₁，A₂，…，A_h。求出这个集合中的每个属性的Anderson规则并利用每个规则进行分割，计算每个分割的不纯度；

步骤六：选择最小不纯度对应的属性进行分割，把当前结点的数据分割成两个子集，代表子集的子结点记录该子集包含的所有记录的ID号；

步骤七：判断子集是否满足终止条件；如果满足，则终止；只要有一个子集不满足终止条件，则重置V₁，W₁和V₂，W₂，且对该子集重复执行步骤一至步骤六。