[发明专利]深度学习计算结果的特征解释方法、装置、设备及介质

说明书

本发明实施例提供了一种深度学习计算结果的特征解释方法、装置、设备及介质，可用于人工智能领域或其他领域，其中，该方法包括：将预设样本数据集输入原始模型输出第一预测值，计算第一预测值的平均值；将预设数据集输入SHAP中解释原始模型的解释模型输出第二预测值，第一预测值等于第二预测值；针对预设样本数据集中的每个样本，计算该样本中每个特征的平均边际贡献，该样本中各个特征的平均边际贡献之和加上第一预测值的平均值得到的和等于该样本对应的第一预测值，平均边际贡献的大小表示每个样本中每个特征对原始模型计算结果的重要程度。该方案可以通过平均边际贡献的形式来量化、可视化地解释个体特征对计算结果的重要程度、影响程度。

技术领域

本发明涉及人工智能技术领域，特别涉及一种深度学习计算结果的特征解释方法、装置、设备及介质，需要说明的是，本申请公开的深度学习计算结果的特征解释方法和装置可用于人工智能领域，也可用于除人工智能领域之外的任意领域，本申请公开的深度学习计算结果的特征解释方法和装置的应用领域不做限定。

背景技术

从自动化到增强现实，人工智能(AI)已在悄然改变商业运作的模式，部分公司也已经进入了自动化时代。人工智能逐渐取代人类过去的工作，例如，欺诈检测、简历审查和贷款申请等。机器人减轻了员工的负担，让他们可以从事更高级别的工作。最近普华永道发布的《全球CEO调研》中，发现高管们非常关注人工智能的风险和机遇。其中85％的CEO认为人工智能将在未来五年内显著改变他们的商业模式，近三分之二的CEO则认为人工智能的影响将会远远超过互联网变革。不过关于人工智能的可信度究竟有多少，大家都没有明确表态。另外，超过四分之三的CEO认为人工智能“有益于社会”，可是更多受访者(84％)认为，人工智能做出的决策要有理有据才可信。无法解释人工智能的决策，不仅会让终端用户或客户失望，还会让组织面临运营、声誉和财务风险。要想让人们信任人工智能系统，就有必要让人们能“深入了解”它们的基本模型，研究人工智能所用到的数据，揭示每个决策背后的推理过程，并及时向所有利益相关者提供一致解释。因此需要设计一种描述人工智能思考过程的评价方式，以实现人工智能学习过程的透明性，为实现人工智能结果可解释性，可追责，遵循道德法规奠定基础。

发明内容

本发明实施例提供了一种深度学习计算结果的特征解释方法，以解决现有技术中无法实现人工智能计算结果可解释性的技术问题。该方法包括：

将预设样本数据集输入原始模型，所述原始模型输出第一预测值，计算所述第一预测值的平均值；

将所述预设数据集输入SHAP(合作博弈论)中解释所述原始模型的解释模型，所述解释模型输出第二预测值，其中，所述第一预测值等于所述第二预测值；

针对所述预设样本数据集中的每个样本，计算该样本中每个特征的平均边际贡献，该样本中各个特征的平均边际贡献之和加上所述第一预测值的平均值得到的和等于该样本对应的第一预测值，其中，所述平均边际贡献的大小表示每个样本中每个特征对所述原始模型输出的计算结果的重要程度。

本发明实施例还提供了一种深度学习计算结果的特征解释装置，以解决现有技术中无法实现人工智能计算结果可解释性的技术问题。该装置包括：

原始模型计算模块，用于将预设样本数据集输入原始模型，所述原始模型输出第一预测值，计算所述第一预测值的平均值；

解释模型计算模块，用于将所述预设数据集输入SHAP中解释所述原始模型的解释模型，所述解释模型输出第二预测值，其中，所述第一预测值等于所述第二预测值；

特征解释模块，用于针对所述预设样本数据集中的每个样本，计算该样本中每个特征的平均边际贡献，该样本中各个特征的平均边际贡献之和加上所述第一预测值的平均值得到的和等于该样本对应的第一预测值，其中，所述平均边际贡献的大小表示每个样本中每个特征对所述原始模型输出的计算结果的重要程度。