[发明专利]一种基于随机森林的模型训练方法和装置

说明书

本申请实施例提供了一种基于随机森林的模型训练方法和装置，该方法包括：将工作节点划分成一个或多个分组；由每个分组中的工作节点从预置的样本数据中进行随机采样，获得目标样本数据；由每个分组中的工作节点采用所述目标样本数据训练一个或多个决策树对象。本申请实施例不需要扫描一次完整的样本数据，大大降低了数据的读取量，减少了耗费的时间，进而减少模型的迭代更新时间、提高训练效率。

技术领域

本申请涉及计算机处理的技术领域，特别是涉及一种基于随机森林的模型训练方法和一种基于随机森林的模型训练装置。

背景技术

随着互联网的快速发展，人们生活的方方面面都与互联网产生了联系，在人们使用互联网的相关功能时，产生了海量的数据。

目前，经常使用随机森林(Random forest)算法进行模型训练，对这些海量的数据进行挖掘，从而进行分类、推荐等操作。

随机森林是一个树型分类器{h(x,k),k＝1,…}的集合，元分类器h(x,k)一般是用CART(Classification And Regression Tree，分类回归树)算法构建的没有剪枝的决策树，其中，x是输入向量，k是独立同分布的随机向量，决定了单颗树的生长过程，速记森林的输出通常采用多数投票法得到。

由于样本数据的规模达到几亿甚至几十亿，单机版的随机森林已经不能处理海量规模的，通常使用并行版的随机森林。

假设样本数据的全集为D，要训练100棵决策树，并行实现方案一般如下：

1、样本随机采样；

同时启动100个工作节点worker，每个worker从D中随机采样出一个样本数据的子集S，S的大小一般远远小于D，单台计算机可处理。

2、单个worker基于S、应用CART算法训练决策树。

在训练决策树时，对于非连续特征，一般是计算该特征的基尼系数Gini，基于最佳基尼系数Gini进行分裂。

在这种方案中，由于每个worker都是从样本数据的全集中采样子集，因此，需要扫面一次样本数据的全集，数据读取量大，耗费较多的时间进行读取，使得模型的迭代更新时间较长、训练效率较低。

在计算基尼系数Gini时，通常需要使用穷举法，即假设有n个特征，且CART树是二分类的，则所有分支的组合有(2^n-1-1)种，需要计算(2^n-1-1)次基尼系数Gini，复杂度为O(2^n-1-1)，计算的复杂度为指数级别，在训练决策树时耗费大量的时间，同样使得使得模型的迭代更新时间较长、训练效率较低。

发明内容

鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于随机森林的模型训练方法和相应的一种基于随机森林的模型训练装置。

为了解决上述问题，本申请实施例公开了一种基于随机森林的模型训练方法，包括：

将工作节点划分成一个或多个分组；

由每个分组中的工作节点从预置的样本数据中进行随机采样，获得目标样本数据；

由每个分组中的工作节点采用所述目标样本数据训练一个或多个决策树对象。

优选地，每个分组中的工作节点包括一个或多个第一工作节点以及一个或多个第二工作节点；

所述由每个分组中的工作节点从预置的样本数据中进行随机采样的，获得目标样本数据步骤包括：

在每个分组中，由每个第一工作节点从预置的样本数据中读取部分样本数据；