[发明专利]一种基于核极限学习机及并行化的随机森林分类系统

摘要

本发明公开一种基于核极限学习机及并行化的随机森林分类系统，包括：单机模块和并行化模块，其中，单机模块主要针对的是非海量数据集的处理，其包含四个子模块分别是数据抽取模块、模型训练模块、模型评估模块、模型优化模块。采用本发明的技术方案，不仅可以支持海量数据的处理，而且能够提高对数据的分类性能。

主权项

一种基于核极限学习机及并行化的随机森林分类系统，包括：单机模块和并行化模块，其中，单机模块主要针对的是非海量数据集的处理，其包含四个子模块分别是数据抽取模块、模型训练模块、模型评估模块、模型优化模块；数据抽取模块，用于对样本集进行随机化抽取。采用Bootstrap法从N个样本中有放回地随机抽取N个样本并从F个特征中随机选取f个特征(f<<F)组成新的样本集，同时在该模块中设置数据抽取接口，可以使用自定义的数据抽取方法；模型训练模块，用于核极限学习机的训练，采用径向基核函数与多项式核函数加权得到混合核函数作为极限学习机的核函数，同时在该模块中设置了核函数自定义接口，可以使用自定义的核函数；模型评估模块，用于对每个基分类器的性能测试；使用样本子集训练得到混合核极限学习机模型之后，使用测试集测试每个基分类器的分类精度并排序，得到分类精度列表。模型优化模块，用于对模型的优化，首先剔除分类精度列表中性能最差的基分类器，再结合粒子群优化算法对核参数、正则化系数、混合核权重进行调优得到优化的新基分类器代替被删除的基分类器；再次使用测试集对新基分类器进行性能测试，遍历其他基分类器依次与新基分类器的分类性能进行比较，如果与新基分类器的分类性能差别超过规定阈值，则需要使用粒子群优化算法进行优化，同时在该模块中设置了优化函数自定义接口，可以使用自定义的优化函数；并行化模块主要针对的海量数据的处理，采用Map‑Reduce计算模型对分类方法进行并行化；在每个计算节点中都采用单机模块的构造子森林，最后在驱动程序中将所有的子森林合并为随机森林模型。