[发明专利]一种梯度提升机的可视化分析方法

说明书

本发明属于计算技术领域，具体涉及一种梯度提升机的可视化分析方法，帮助用户和机器学习专家解释梯度提升的机器模型。该方法首先协助自动分析输入特征，从而促进了特征工程的进程。此外，主要决策路径被可视化，以显示梯度提升机的数据流，这清楚地显示了梯度提升机程序的基本机制。可视化的结果表明，GBMVis能够有效地解释输入特征和预测结果之间的关系，并直观地展示所有的关键特征组合和决策路径。

技术领域

本发明属于计算技术领域，具体涉及一种梯度提升机的可视化分析方法。

背景技术

梯度提升机(GBM)是一种由许多独立的弱学习者组成的集合机器学习模型，已被证明在不同的领域得到了广泛的利用，如回归方法和分类；GBM是拟合实际分布的最佳传统机器学习算法之一。它是一种通过使用加法模型(即基本函数的线性组合)对数据进行分类或回归的算法，并不断减少训练过程中产生的误差。由于其有效性，GBM被应用于商业任务。在深度大行其道之前，GBM因其稳定的性能、多样化的应用和过滤特征的功能，在各种比赛中大放异彩。

尽管GBM应用广泛、效率高，但在实际应用中仍然存在功能缺陷和性能限制。第一个缺点是GBM的模型结构较为复杂，树的深度较大，数量较多，通常被当做黑盒使用。用户无法理解GBM的内部原理。第二缺点是与深度学习模型相比，GBM缺乏一定的编码器能力，故输出的特征组合可能冗余，影响预测结果；第三个缺点是GBM算法需要仔细调整参数，由于信息混乱，训练时间可能较长，这将影响到性能的分析。

发明内容

本发明公开了一种梯度提升机的可视化分析方法，拟解决背景技术中提到的用户无法快速理解GBM内部原理的技术问题。

为解决上述技术问题，本发明采用的技术方案如下：

一种梯度提升机的可视化分析方法，包括以下步骤：

步骤1：建立梯度提升机模型；

步骤2：对原始数据进行预处理，统计数据特征，并对特征进行分析，挖掘重要特征，给测试集数据打预测标签；

步骤3：提出可视化设计目标，通过对特征的重要性、部分依赖信息以及树结构进行可视化来揭示特征和模型预测之间关系、揭示模型内部机制、提供基于案例的分析；

步骤4：根据可视化设计目标来分析可视化任务，设计视图来帮助用户进行可视分析。

本发明通过分析可视化任务，设计视图来帮助用户进行可视分析，实现了用户对GBM模型的快速理解。

优选的，所述步骤1中建立的模型为混合模型，输入特征通过提升决策树方法进行转换，每棵树的输出被视为线性分类器的分类输入。

具体的，步骤1中的模型算法采用Lightgbm；其模型算法如下：

For m＝1to M do:

其中，F₀(x)是初始化目标函数，F_m(x)是更新后的表示；是伪应答；γ_jm表示系数；是不相交的区域，它们共同覆盖了预测变量x的所有联合值的空间，这里是在第m次迭代时由树的终端节点定义的区域。

优选的，所述步骤4包括以下步骤：

步骤4.1：对特征的重要性进行编码；

步骤4.2：编码部分依赖性信息；

步骤4.3：编码分割点分布；