[发明专利]基于决策树和LIME模型的解释方法、系统、设备和介质

说明书

本申请实施例涉及基于决策树和LIME模型的解释方法、系统、设备和介质，属于机器学习技术领域，该方法包括：获取待推理样本并提取特征数据，将所述特征数据输入预训练的黑盒模型，输出所述待推理样本的预测标签；将所述待推理样本的特征数据输入预训练的解释器模型，其中，所述解释器模型包括决策树和LIME模型，所述决策树根据各节点对应的LIME模型的拟合结果生成；根据所述决策树的决策路径和所述决策树的叶子节点对应的LIME模型的特征权重，得到所述预测标签的解释依据。根据本申请实施例，推理解释过程复杂度极低，速度快，能够降低延时；而且得到的解释依据更加全面，更加准确。

技术领域

本申请涉及机器学习技术领域，特别是涉及一种基于决策树和LIME模型的解释方法、系统、设备和介质。

背景技术

近年来，机器学习技术日渐成熟，逐渐在金融、医疗等行业发挥重要作用。机器学习模型被广泛地应用到一些重要的现实任务中，如人脸识别、自动驾驶、金融风控、智慧医疗等。在某些场景中，机器学习的表现甚至超越了人类。

机器学习的过程和结果需要借助机器学习模型来实现，但部分模型由于缺乏可解释性，其应用也饱受质疑。例如，在使用传统机器学习模型或者深度神经网络模型进行结果预测时，普通用户只能进行数据输入，被动等待模型的预测结果，对于模型的具体决策过程则一无所知。这些模型如同黑箱-般，无法提供其决策依据，由于模型的决策过程缺乏可解释性，用户无法判断其决策结果是否可靠。而缺乏可解释性的模型，应用在实际任务中，尤其是安全敏感的任务中，可能存在一定的安全隐患。例如，在智慧医疗领域，缺乏可解释性的黑盒模型，导致输出的病症缺乏判断依据，可能会给某位患者带来错误的治疗方案，危害患者生命安全；在自动驾驶领域，缺乏可解释性的黑盒模型，导致司机对于路况的判断缺乏依据，可能选择错误的行驶操作，从而导致危险发生；而在金融领域，缺乏可解释性的黑盒模型，影响市场人员对风险的预测，也有可能引起巨大的金融风险。

目前，一般通过LIME(Local Interpretable Model-agnostic Explanations)模型对黑盒模型的预测结果进行解释。例如，对待推理样本y通过黑盒模型得出预测标签，在对预测标签进行解释时，首先，统计原始数据得到数据集中样本的分布情况，生成该待推理样本y的近邻样本组Y，并利用该近邻样本组Y训练一个线性模型(即LIME模型)，再通过该线性模型的特征权重分布，来对该待推理样本y的预测结果进行解释。然而，这种推理解释的方式复杂度高，速度极慢，延时高。

发明内容

本申请实施例提供了一种基于决策树和LIME模型的解释方法、系统、设备和介质，以至少解决相关技术中推理解释方式复杂度高，速度极慢，延时高的问题。

第一方面，本申请实施例提供了一种基于决策树和LIME模型的解释方法，所述方法包括：获取待推理样本并提取特征数据，将所述特征数据输入预训练的黑盒模型，输出所述待推理样本的预测标签；将所述待推理样本的特征数据输入预训练的解释器模型，其中，所述解释器模型包括决策树和LIME模型，所述决策树根据各节点对应的LIME模型的拟合结果生成；根据所述决策树的决策路径和所述决策树的叶子节点对应的LIME模型的特征权重，得到所述预测标签的解释依据。

在其中一些实施例中，所述解释器模型的训练方式包括：获取训练样本集作为第一训练集，并通过预训练的黑盒模型输出所述第一训练集中样本的预测标签，用所述预测标签对所述样本进行重新标注，得到第二训练集；基于所述第二训练集训练决策树，递归执行节点的分裂，其中，在每个生成的节点上运行LIME模型以对节点内的样本进行线性回归拟合，得到LIME模型的特征权重和拟合误差；当所述拟合误差小于预设阈值时，退出递归。

在其中一些实施例中，所述解释器模型的训练方式还包括：当所述拟合误差不小于预设阈值时，分裂节点，直至节点内的样本数量小于预设的最小样本数，或者，即将分裂成的子节点的样本数量小于预设的最小分裂样本数，停止分裂。