[发明专利]提高梯度提升树模型的特征值作用和防止过拟合的方法

摘要

本发明公开了提高梯度提升树模型的特征值作用和防止过拟合的方法。本发明通过将离散化前特征值添加到损失函数中，最终得到最佳分裂点及特征值权重和偏置，进一步尽可能多地利用离散化前的数据。对于输入特征与输出目标相关性较强的数据，模型表现性能相对于梯度提升树有较大的提升；本发明还给出了一种t分布防止过拟合方式，通过大数定理筛选分裂点，在实际应用中可以通过该方式找到更加准确的分裂点，防止过拟合。本发明解决了梯度决策树模型只考虑特征值离散化后的大小，而不会考虑离散化前特征值数值的真实分布以及过拟合问题。本发明可广泛应用于广告预测、人工智能、图像识别、语音识别等各个方面。

主权项

1.提高梯度提升树模型的特征值作用和防止过拟合的方法，其特征在于包括以下步骤：步骤1：对样本集D确定梯度提升树模型的输入特征x_ij和输出变量y_i，其中i表示第i个样本，j表示第j个特征，样本个数为n，特征值个数为m；定义损失函数；步骤2：对特征值x_ij进行归一化；步骤3：对预测值初始化为y_i的平均值步骤4：对特征值x_ij离散化得出所有的分裂点，分裂点个数为s；步骤5：计算输入样本的一阶偏导g_i和二阶偏导h_i；步骤6：在第k个叶子节点上，对于每一个分裂点，该叶子节点的样本D_k会预分裂为左样本L和右样本R，其中L+R＝D_k，如果k为0，则D₀＝D；遍历所有分裂点，计算左样本L和右样本R的所有特征值的特征值权重w₁、特征值偏置w₂及对应的分裂增益gain；此时会得到s份左样本L和右样本R，s×m个特征值权重w₁、特征值偏置w₂及对应的分裂增益gain；步骤7：如果用户定义的损失函数为MSE函数，即则执行t分布防止过拟合方式，如果用户定义的损失函数不是则直接执行步骤8；步骤8：从s×m个gain中找出最大的gain，及对应的分裂点、特征值权重w₁、特征值偏置w₂、特征值权重w₁和特征值偏置w₂对应的选定特征r，但暂时不分裂；步骤9：从所有的节点中找出gain最大的节点，对该节点进行分裂；步骤10：对新分裂出来的两个节点重复步骤6～10，直到叶子节点个数大于用户指定的叶子节点个数；至此构建完毕一棵弱决策树；步骤11：对数据集根据该决策树上非叶子节点上的分裂点将数据分裂到各个叶子节点上；步骤12：对各叶子节点上的数据，更新预测值：第t棵弱决策树的预测值其中η为学习率，i为第i个样本，k为第k个叶子节点，r为第r个特征，t为第t棵弱决策树；步骤13：重复5～13，直至弱决策树棵数达到用户给定的弱决策树总数或验证集准确率不再提升。