[发明专利]理解机器学习决策的系统、方法、计算机可读介质

说明书

描述了理解机器学习决策的系统、方法、计算机可读介质。在无监督学习阶段，该系统通过对概念的潜变量的活动模式进行聚类，以无监督方式从输入数据中提取由机器学习(ML)模型表示的概念，其中，潜变量是ML模型的隐变量。通过学习所提取的概念之间的功能语义，将所提取的概念组织成概念网络。在操作阶段，生成概念网络的子网络。将子网络的节点被显示为由权重和标签标注的视觉图像的集合，以及根据权重和标签的ML模型。

相关申请的交叉引用

本申请是2017年4月7日在美国提交的题为“Method for UnderstandingMachine-Learning Decisions Based on Camera Data”的美国临时申请No.62/482,938的临时专利申请，该临时申请的全部内容通过引用并入本文。

技术领域

本发明涉及用于理解机器学习决策的系统，更具体地，涉及用于利用复杂机器学习方法的隐藏激活的聚类来理解机器学习决策的系统。

背景技术

最近有许多研究工作专注于理解经训练的卷积神经网络(CNN)的内部表示。Zhou等人(参见引入的参考文献列表，参考文献No.6)研究了被训练用于场景分类的CNN的激活模式，并且示出从该激活模式中出现的各种对象检测器。换句话说，即使在网络没有专门针对对象检测任务进行训练的情况下，CNN中的激活模式对各种对象进行编码，并且可以用于检测这些对象。

Dosovitskiy、Springenberg和Brox(参见参考文献No.2)以及Mahendran和Vedaldi(参见参考文献No.3)提出了用于反转CNN特征表示以获得包含网络保存的信息的图像的方法。类似地，Zeiler和Fergus(参见参考文献No.5)介绍了一种激活CNN中各隐藏单元的可视化方法。此外，生成网络最近也引起了很多关注，因为它们可用于可视化和理解卷积网络。

另一组方法改变输入图像(例如通过遮挡图像的一小部分)并研究对应的CNN输出之间的差异以解码所述改变的语义值。例如，Bazzan等人(参见参考文献No.1)使用预训练的CNN并遮挡输入图像的一些部分，并分析识别得分(即，网络响应)。以这种方式，他们能够在输入图像中定位对象。或者，Zhou等人(参见参考文献No.7)利用全局平均池化来对卷积激活模式进行建模并且以这种方式定位由网络识别的对象。

上述现有技术主要关注可视化输入数据的与网络中的特定激活相对应的部分，或者试图反转网络并根据提取的特征生成图像。另外，现有技术基本上表明CNN的隐藏层中存在重要的中间与图像组件级信息，但是它不解决聚类，也不提供实现这种聚类的无监督方式。梳理并分解这些簇(clusters)对于构建决策路径背后的概念网络至关重要。

因此，一直需要这样一种方法：对复杂机器学习(ML)方法的隐藏激活进行聚类，并考虑ML模型内的概念之间的功能交互以捕获(capture)关系，例如上下文关系。

发明内容

本发明涉及一种用于理解机器学习决策的系统，更具体地，涉及一种利用复杂机器学习方法的隐藏激活的聚类来理解机器学习决策的系统。该系统包括一个或更多个处理器以及非暂时性计算机可读介质，该非暂时性计算机可读介质编码有可执行指令，使得当可执行指令被执行时，一个或更多个处理器执行多个操作。在无监督学习阶段，通过对由ML模型表示的多个概念的潜变量的活动模式进行聚类来以无监督方式从输入数据中提取所述概念，其中，潜变量是ML模型的隐变量。通过学习所提取的概念间的功能语义来将所提取的概念组织成概念网络。在操作阶段，系统生成概念网络的子网络。将子网络的节点显示为由权重和标签标注的视觉图像的集合，并且根据权重和标签改进ML模型。

在另一方面，子网络被呈现和显示为导致ML模型做出的决策输出的决策路径集合的视觉描绘。

在另一方面，在操作阶段，系统将子网络呈现和显示为导致ML模型做出的决策输出的决策路径集合的视觉描绘。