[发明专利]一种特殊初值的XGBoost类方法及相关设备

说明书

本发明公开了一种特殊的XG Boost类方法，在XG Boost类方法中用待估变量或待估参数的极大似然估计值为初始迭代值，使得XG Boost类方法的收敛速度更快。相比0初值，当训练轮数较少时，能有效防止过拟合同时达到一定的预测精度。当有特殊取值范围限定时，极大似然估计初始迭代值和一个较小的收缩尺度因子η能使XG Boost类方法在迭代过程中始终保持实际意义。同时，公开了相关的计算机设备。

技术领域

本发明涉及机器学习技术，具体涉及大数据分析方法。

背景技术

1.XGBoost方法。

XGBoost方法是一种极限梯度提升树方法，其预测性能优异，在很多领域都取得了非常好的成绩。

该方法的主要过程描述如下：

一个样本集

D＝{(x_i，y_i)}(|D|＝n，x_i∈R^m，y_i∈R)，

有m个特征，n个样本。

一个集成树模型，用K颗树函数相加得到预测结果。

其中F＝{f(x)＝ω_q(x)}(q：R^m→T，ω∈R^T)是回归树空间。q表示每棵树的结构，把一个样本映射到对应的叶子结点。T是一颗树的叶子结点的个数。每个f_k对应一个独立的树结构q及其叶子权重ω。每一颗回归树的每一个叶子结点都有一个连续值得分，用ω_i表示第i个叶子结点的得分。为了学习模型中的这些树函数，最小化下面的正则化目标：

其中，

l是可导凸函数，表示损失函数。Ω(f_k)是正则项。

XGBoost算法用提升树算法去最小化目标函数，假设是第i个样本的第t次迭

代的预测值，将其加上一个f_t，最小化如下目标函数：

在一般情况下，为了快速优化目标函数。用二阶泰勒展开对其做近似：

其中，将常数项移除，得到第t次迭代的目标函数：

定义I_j＝{i|q(x_i)＝j}是划分到叶子结点j的样本点的集合，重写得到

对一个固定的树结构q(x)，求对每一个ω_j的偏导数等于0的ω_j值，得到叶子结点j的最优权重得分：

最优目标函数值为：

树结构q采用贪婪算法求得，迭代的从一个单一的叶子结点开始添加分枝。

假设I_L和I_R表示分裂后的左右结点的样本集，I＝I_L∪I_R。

分裂后的目标函数的减少值由下式给出：

此公式用来计算候选划分点。

绝大部分地，即的初始迭代值设定为0。