[发明专利]一种属性子空间加权的随机森林数据处理方法

摘要

本发明公开了一种属性子空间加权的随机森林数据处理方法，所述方法包括S1、对需要进行训练的数据样本集通过有放回抽样的方式抽取跟需要建立的决策树数目一致的N个样本子集；S2、对每个样本子集构建无剪枝的决策树模型，在构建决策树模型的节点时，采用信息增益法先对所有参与节点构建的属性进行加权，从中选出权重最高的M个属性参与节点构建；S3、将构建的N个决策树模型合并成一个大的随机森林模型。本发明将信息增益用于属性子空间加权，使得有用信息能够被抽取，从而提高分类的精度。

主权项

一种属性子空间加权的随机森林数据处理方法，其特征在于，所述方法包括：S1、对需要进行训练的数据样本集通过有放回抽样的方式抽取跟需要建立的决策树数目一致的N个样本子集；S2、对每个样本子集构建无剪枝的决策树模型，在构建决策树模型的节点时，采用信息增益法先对所有参与节点构建的属性进行加权，从中选出权重最高的M个属性参与节点构建；S3、将构建的N个决策树模型合并成一个大的随机森林模型；所述步骤S2中的决策树模型采用单机多核多线程方式或多机并行分布式方式进行构建；所述步骤S2中的决策树模型采用单机多核多线程方式进行构建，具体包括：自动开启跟CPU核数一样多的线程，每个线程从进程列表中获取一个建树信息后并开始进行根据该信息进行建树，每建完一颗树，就将建好的决策树模型放到随机森林中；每个线程同时并行地完成建树的过程，直到所有的建树信息分发完成，最后由随机森林合并所有的决策树得到最后的随机森林模型；或者所述步骤S2中的决策树模型采用多机并行分布式方式进行构建，主节点负责总体建模的调度，从节点负责具体的建树过程，具体包括：主节点中的进程保存所有建树的信息，并将建树信息分成多个进程列表；根据需要启动其他机器上的从节点进行建树，每个从节点从主节点中获取一个进程列表，然后在自己的机器上独立构建决策树并生成子随机森林；每个从节点将各自构建的子随机森林放回到主节点中，由主节点将所有的子随机森林合并得到最终的随机森林模型。