[发明专利]用于解释人工智能模型的方法、装置及系统

权利要求书

1.一种用于解释人工智能模型的方法，其特征在于，包括：

获取人工智能模型的第一解释结果；所述第一解释结果为基于所述人工智能模型的特征字段所表示的解释结果；

获取所述特征字段与业务含义的关联关系；

基于所述关联关系，将所述第一解释结果中的所述特征字段替换成关联的业务含义，得到所述人工智能模型的第二解释结果；

基于所述第二解释结果，生成所述人工智能模型的解释报告；

其中，所述第一解释结果至少包括所述人工智能模型的决策规则；获取所述人工智能模型的决策规则，包括：获取所述人工智能模型的训练样本集；将所述训练样本集输入所述人工智能模型，得到所述训练样本集的决策结果；所述决策结果包含所述决策结果出现的概率；根据所述训练样本集和所述训练样本集的决策结果进行机器学习训练，得到单棵决策树模型；提取所述单棵决策树模型中至少一个决策结果分支所对应的分裂条件，得到所述人工智能模型的决策规则。

2.根据权利要求1所述的方法，其特征在于，所述第一解释结果包括所述特征字段的重要性分析结果；

所述重要性分析结果包括所述特征字段以及所述特征字段在所述人工智能模型进行决策时的参考权重。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

对所述第二解释结果进行优化；

所述基于所述第二解释结果，生成所述人工智能模型的解释报告包括：

根据优化后的第二解释结果，生成所述人工智能模型的解释报告。

4.根据权利要求3所述的方法，其特征在于，所述对所述第二解释结果进行优化包括：

基于所述第二解释结果中与所述重要性分析结果对应的内容，构建解释图谱；其中，所述解释图谱中的节点包括所述业务含义和预设的业务类型；所述解释图谱的边表示所述业务含义与所述业务类型之间的映射关系；根据所述解释图谱，确定每一业务类型所连接的至少一个业务含义；

对于每一所述业务类型，对所连接的业务含义的参考权重求和，得到对应业务类型的参考权重；

根据所述业务类型和所述业务类型的参考权重，得到所述优化后的第二解释结果中与所述重要性分析结果对应的内容。

5.根据权利要求4所述的方法，其特征在于，所述根据所述业务类型和所述业务类型的参考权重，得到所述优化后的第二解释结果中与所述重要性分析结果对应的内容，包括：

基于所述业务类型的参考权重对所述业务类型进行降序排序，得到每一所述业务类型的第一排序值；

将第一排序值在第一预设排序范围内的业务类型和对应的参考权重，作为所述优化后的第二解释结果中与所述重要性分析结果对应的内容。

6.根据权利要求2所述的方法，其特征在于，获取所述人工智能模型的所述特征字段的重要性分析结果，包括：

获取所述人工智能模型中的所述特征字段；

在获取的所述人工智能模型的训练样本集中选取待解释样本；所述待解释样本包括所述特征字段的特征值；

基于所述待解释样本，生成局部样本和所述局部样本的样本权重；所述局部样本包括所述特征字段的特征值；

将所述局部样本输入所述人工智能模型，得到所述局部样本的决策结果；

基于所述局部样本、所述样本权重以及所述局部样本的决策结果进行机器学习训练，得到用于对所述人工智能模型进行近似拟合的解释模型；

将所述解释模型中所述特征字段对应的系数，作为所述特征字段在所述人工智能模型进行决策时的参考权重；

基于所述特征字段的参考权重对所述特征字段进行降序排序，得到所述特征字段的第二排序值；

将所述第二排序值在第二预设排序范围内的特征字段及对应的参考权重，得到所述重要性分析结果。

7.根据权利要求6所述的方法，其特征在于，所述基于所述待解释样本，生成局部样本和所述局部样本的样本权重，包括：

按照预设的变换规则对所述待解释样本进行变换，得到所述局部样本；

确定所述局部样本与所述待解释样本之间的相似度，作为所述局部样本的样本权重。