[发明专利]一种神经网络内部特征重要性可视化分析及特征迁移方法

说明书

本发明公开了一种神经网络内部特征重要性可视化分析及特征迁移方法，通过基于先验知识对数据集进行采样，划分代表性数据子集，对数据子集平均化、正则化，得到数据子集标准平均图，根据导向反向传播特征可视化方法获取神经网络内部所有神经元针对每张标准平均图的特征可视化图像，基于特征可视化图像与标准平均图的余弦相似度作为对应神经元的价值，根据层相似值判断网络层拟合情况和层内神经元相似值评估网络神经元拟合情况，使用神经网络剪枝算法提取高价值网络模块并进行迁移测试。本发明实现以量化与可视化结合的方式衡量卷积神经网络特征重要性，完成对原模型重要特征的提取重用，提高神经网络模型可解释性，帮助分析理解模型拟合情况。

技术领域

本发明属于迁移学习、神经网络深度学习技术领域，具体地说，涉及一种神经网络内部特征重要性可视化分析及特征迁移方法。

背景技术

深度学习模型不依赖手工制作特征，能够自动地从标注的图像数据中学习目标特性，可有效区分真实目标与复杂背景物，表现出很强的泛化能力。但深度学习模型结构复杂，特征丰富，通常有数百层和数以万计的自学习特征，具有不可解释特性，人工无法有效获取和理解其学习到的目标特性，使得这些潜在的重要目标特性不能被量化评估和高效利用。由于神经网络的复杂性产生的黑盒属性，许多可视化方法被用于解释其内部神经元特征，如导向反向传播等。

尽管对神经网络特征进行可视化有利于人眼直观感受，却不能指导计算机评估神经网络的特征好坏。而在迁移学习领域中，人们通常通过L2正则化值等方法来判断某个神经元的价值，以此来指导神经元剪枝，便于重要模块与高价值神经元的保留与重用，但是这些指标存在评估方式单一，评估不准确，指标客观性难以衡量的问题。

发明内容

本发明的目的在于解决现有技术中存在的问题，提供一种神经网络内部特征重要性可视化分析及特征迁移方法。该方法通过基于先验知识对数据集进行采样，划分代表性数据子集，对数据子集平均化、正则化，得到数据子集标准平均图，根据导向反向传播特征可视化方法获取神经网络内部所有神经元针对每张标准平均图的特征可视化图像，最后基于特征可视化图像与标准平均图的余弦相似度作为对应神经元的价值，根据层相似值判断网络层拟合情况，根据层内神经元相似值评估网络神经元拟合情况，使用神经网络剪枝算法提取高价值网络模块并进行迁移测试。本发明针对深度神经网络解释性不足的问题，实现了以量化与可视化结合的方式衡量卷积神经网络特征重要性，并完成了对原模型重要特征的提取重用，可以提高神经网络模型可解释性、帮助研究人员分析理解模型拟合情况、辅助模型优化。

其具体技术方案为：

一种神经网络内部特征重要性可视化分析及特征迁移方法，包括以下步骤：

步骤1：获取已训练的神经网络模型的特征提取部分，识别其卷积层位置；

步骤2：基于先验知识对数据集进行采样，划分代表性数据子集：

对于共有K类的数据，C_K＝{Ci|i＝0,1,...,K}表示所有类的数据，根据先验知识，如目标大小、方向、类别等目标特性将原数据划分为数据子集C_N＝{Ci|i＝0,1,...,K；K≥N}；

步骤3：数据子集平均化和正则化，获取数据子集标准平均图：

对于数据子集C_N，每个数据子集包含n个数据实例，计算每个数据子集的标准平均图σ为min-max正则化；

步骤4：使用导向反向传播特征可视化方法获取神经网络内部所有神经元针对每张标准平均图的特征可视化图像Ω＝{ω_ilf|i＝0,1,...,N,l＝0,1,...,L,f＝0,1,...,F}；

步骤5：计算特征可视化图像与标准平均图的余弦相似度获取每个神经元的平均指标相似值；

步骤6：对网络相似值进行层间分析与层内分析：