[发明专利]一种解释卷积神经网络的可视化方法

摘要

本发明涉及一种解释卷积神经网络的可视化方法，包括：准备卷积神经网络模型M及其训练集S；提取模型M在决策过程中所使用到的全部判定条件；利用神经元和人类语料库中语义的匹配程度来决定神经元的语义，为所有判定条件生成可理解语义；成决策树T，以其决策过程作为模型M的决策过程；将决策树T转化为树流图；制作神经元语义视图；制作神经元关系图；制作决策数据流图；构建可交互可视化系统。

主权项

一种解释卷积神经网络的可视化方法，包括下列步骤：步骤1：准备卷积神经网络模型M及其训练集S；步骤2：提取模型M在决策过程中所使用到的全部判定条件，并用C＝{c1,c2,...,cn}表示模型M所有判定条件组成的集合；步骤3：利用神经元和人类语料库中语义的匹配程度来决定神经元的语义，为集合C中的所有判定条件生成可理解语义，并用集合Csemantics表示。其中，匹配程度的计算方式为：用Sc表示输入该卷积神经网络的某一类语义图像，其被第l个神经元所激活的图像像素用Ml表示，使用下式得到神经元和该语义的匹配程度值：IoUl,c=|ΣMl(x)∩Sc(x)||ΣMl(x)∪Sc(x)|]]>总共有六个类别的语义，分别是颜色、纹理、材质、场景、局部和对象，计算六个类别对应的匹配程度值，拥有最高匹配程度值的语义就代表该神经元的语义；步骤4：使用Csemantics生成决策树T，以决策树T的决策过程作为模型M的决策过程；步骤5：将决策树T转化为树流图以降低决策树T的复杂度；步骤6：制作神经元语义视图Vsemantic；树流图Vtree‑flow中的每一个判定条件都会关联到语义视图Vsemantic中和该语义相关的一组图片；步骤7：制作神经元关系图Vrelation；将所有神经元的判定条件根据相似度投影到二维平面上，用于找出被错误标注的语义，投影的方法如下：1)用x，y分别表示某一个神经元，利用核函数来衡量x和y的相似度，对所有的神经元做相似度计算后，得到语义的聚类结果；2)保留高维空间中语义的聚类结果，在低维空间中，用T分布将所有神经元重新分布在二维平面上；步骤8：制作决策数据流图Vdecision，以数据驱动方式理解判定条件，显示模型M决策的合理和不合理的证据；步骤9：以Vtree‑flow为主，Vsemantic，Vrelation，Vdecision为辅构建可交互可视化系统；步骤10：利用该系统分析模型M的决策过程。