[发明专利]提高梯度提升树模型的特征值作用和防止过拟合的方法

说明书

本发明公开了提高梯度提升树模型的特征值作用和防止过拟合的方法。本发明通过将离散化前特征值添加到损失函数中，最终得到最佳分裂点及特征值权重和偏置，进一步尽可能多地利用离散化前的数据。对于输入特征与输出目标相关性较强的数据，模型表现性能相对于梯度提升树有较大的提升；本发明还给出了一种t分布防止过拟合方式，通过大数定理筛选分裂点，在实际应用中可以通过该方式找到更加准确的分裂点，防止过拟合。本发明解决了梯度决策树模型只考虑特征值离散化后的大小，而不会考虑离散化前特征值数值的真实分布以及过拟合问题。本发明可广泛应用于广告预测、人工智能、图像识别、语音识别等各个方面。

技术领域

本发明涉及机器学习算法模型，具体涉及一种解决梯度提升树模型对特征值数值不敏感的问题，同时添加新的防止模型过拟合的方法。

背景技术

随着大数据的迅速发展，数据挖掘技术已经广泛应用于广告预测、人工智能、图像识别、语音识别等各个方面。梯度提升树算法相比于其他的机器学习模型算法具有一定的优越性。首先梯度提升树训练速度快，其次可以从训练好的模型中分析各个特征的重要性及相互关系，进一步提取新特征。

然而，现在已有的梯度提升树算法如XGBoost，Lightgbm等在使用中存在着制约其发展的根本问题，即梯度提升树只考虑特征值离散化后的大小，而不会考虑离散化前特征值数值的真实分布。在构建梯度提升树时，梯度提升树模型会先将特征值(连续值)分割成各个离散值，然后从各个离散的值中寻找分裂点，在这个过程当中，模型只考虑特征值离散化后的大小，这种方式会使得模型在对数据进行离散化后就损失数据的部分信息，例如，当某特征值大小为：0.1，0.2，0.3，0，4，0.5，0.5，0.5，1.6，1.7，1.8，当对特征值离散化时，假设分割点个数为2，可以找到分裂点为：0.45，0.55，从而特征值离散化为： 0，0，0，0，1，1，1，2，2，2。在这个过程中，梯度提升树只关心离散化后的值，而忽略了其离散化前数据的真实分布。

本改进模型也需要对数据进行离散化，但在对数据离散化后会进一步尽可能多地利用离散化前的数据，尽可能多地利用该部分损失的信息。

发明内容

本发明的目的在于解决现有技术存在的上述不不足，提供了一种提高梯度提升树模型的特征值作用和防止过拟合的方法。

本发明解决上述问题所采用的技术方案如下。

一种提高特征值作用和防止过拟合的梯度提升树模型，具体包括以下步骤：

步骤1：对样本集D确定模型的输入特征x_ij和输出变量y_i，其中i表示第i个样本，j表示第j个特征，假定样本个数为n，特征值个数为m。定义损失函数，损失函数可选为logloss 或MSE，但不限于此。

步骤2：对特征值x_ij进行归一化。

步骤3：对预测值初始化为y_i的平均值

步骤4：对特征值x_ij离散化得出所有的分裂点，分裂点个数为s。

步骤5：计算输入样本的一阶偏导g_i和二阶偏导h_i。

步骤6：在第k个叶子节点上(如果k为0，D₀＝D)，对于每一个分裂点，该叶子节点的样本D_k会预分裂为左样本L和右样本R，其中L+R＝D_k，遍历所有分裂点，计算左样本 L和右样本R的所有特征值的特征值权重w₁、特征值偏置w₂及对应的分裂增益gain。此时会得到s份左样本L和右样本R，s×m个特征值权重w₁、特征值偏置w₂及对应的分裂增益 gain。