[发明专利]一种增量式的梯度提升决策树更新方法

说明书

技术领域

本发明涉及一种数据分类模型的更新方法，尤其涉及一种增量式的梯度提升决策树更新方法。

背景技术

近年来，人们逐渐意识到数据分析的重要性，开始着手对数据进行分析和挖掘，发现数据潜在的价值。越来越多的领域如金融、电商、医疗和教育等已经开始使用数据挖掘技术来获得数据的潜在价值。

在这些应用和服务中，较为常见的需求是数据分类。在数据分类问题中，如何快速更新已有的数据分类模型，是一项重要的研究课题，也是当前很多需要实时处理数据的应用所面临的重要挑战。因为，新数据到来后，如果重新建立一个新的数据分类模型，将耗费大量的时间。

梯度提升决策树，即Gradient Boosting Decision Tree，是具有较高准确率的数据分类算法。梯度提升决策树的思想使其具有天然优势可以发现多种有区分性的模型以及模型组合。业界中，Facebook使用其来自动发现有效的模型、特征模型，来作为逻辑回归模型中的模型，以提高点击率预估的准确性。但是当新数据到来后，现有的梯度提升决策树需要在所有的数据集上重新训练一个数据分类模型，并没有充分利用在原始数据集上已建立的数据分类模型，对此，我们设计了一个增量式的梯度提升决策树方法，在新数据集到来时，快速更新在原始数据集上已建立的数据分类模型。

发明内容

本发明的目的是提供一种增量式的梯度提升决策树更新方法，能够在一个或多个新的数据块实时到达后，直接在已有的基于梯度提升决策树算法的数据分类模型上进行快速更新，极大地减少了建立数据分类模型的时间，提高了更新效率。

本发明采用下述技术方案：

一种增量式的梯度提升决策树更新方法，依次包括以下步骤：

A：对增量数据集与原始数据集进行排序归并，形成合并了新的数据块后的当前最新有序数据集；

B：分别计算每个结点在当前最新有序数据集上的最新最佳分裂属性和分裂值；

C：对决策树中的每个结点，基于合并了新的数据块后的当前最新有序数据集，首先利用步骤B计算得到的最新最佳分裂属性，与新的数据块到来前该结点上最佳分裂属性进行对比；当最新最佳分裂属性和新的数据块到来前该结点上的最佳分裂属性相同时，仅更新该结点上该属性的分裂值，否则进一步判断该结点是决策树的中间结点还是根结点；如果该结点是决策树的中间结点，则基于CART决策树算法中构建二叉决策树的方法，使用前一棵决策树对应的最新残差，从该中间结点起重新训练一棵新的子树,替代原有的以该中间结点作为根结点的子树，若该结点所在决策树为第一棵决策树，则使用当前最新有序数据集中每一个实例目标列的值减去所有实例目标列的平均值作为最新残差；如果该结点是根结点，则基于CART决策树算法中构建二叉决策树的方法，使用前一棵决策树对应的最新残差，重新训练一个新的决策树，替代原有的当前根结点所在的整棵决策树，若该结点所在决策树为第一棵决策树，则使用当前最新有序数据集中每一个实例目标列的值减去所有实例目标列的平均值作为最新残差；然后，对于剩余的每棵决策树，结合前一棵决策树对应的最新残差，重新训练一棵新的决策树，替代当前的整棵决策树；每当更新完一个决策树，使用已更新完的决策树对新数据集的目标列进行残差更新，迭代地更新每一棵决策树及新数据集目标列的残差值，直到数据分类模型更新完毕。

所述的步骤A包括以下步骤：

A1：在一个或多个新的数据块实时到达后，首先对新的数据块上的各个属性进行单独排序，然后为每个属性独立生成一个排序后的数据集；

A2:使用排序归并策略，依次将新的数据块上为每个属性独立生成的排序后的数据集和该属性原有的基于原始数据集排序的数据集进行合并。

所述的步骤A2中合并方法如下：

步骤1：为每个属性原有的基于原始数据集排序的数据集OriData_i设置指针P₁，为新的数据块上对该属性独立生成的排序后的数据集NewData_i设置指针P₂；首先使用指针P₂获得数据集NewData_i中的第一个值V₂，并与指针P₁所指向的数据集OriData_i中的第一个值V₁进行比较：