[发明专利]一种神经网络解耦方法

说明书

本发明公开一种神经网络解耦方法，包括如下步骤：步骤1，对于神经网络的每个卷积层，根据该卷积层中各个滤波器的重要性选取参与计算的滤波器；步骤2，基于互信息损失函数、KL‑散度损失函数和稀疏损失函数对步骤1得到的神经网络进行训练。此种方法对神经网络的结构进行解耦，从而针对不同的输入可以生成不同的计算路径，然后进一步解释神经网络的工作原理，加速神经网络的推理，增强神经网络的鲁棒性。

技术领域

本发明涉及一种可解释的神经网络解耦方法。

背景技术

近年来，随着硬件GPU快速发展及大数据时代的来临，深度学习得到了迅猛发展，已席卷人工智能各个领域，包括语音识别、图像识别、视频跟踪、自然语音处理等在内的图、文、视频领域。深度学习技术突破了传统技术方法，大大提高各领域的识别性能，特别是卷积神经网络(Convolutional Neural Networks,CNNs)强大的自我特征表示能力，使得它广泛应用于在图像识别[1-4]、目标检测[5-7]、图像检索[8]等领域。但由于卷积神经网络的模型高存储和难以解释的弊端，无法直接将模型嵌入到拥有有限存储空间的移动设备端，同时也无法应用在关键任务例如自动驾驶、机器人等上面。因此，理解神经网络，并将卷积神经网络强大的识别性能移植到移动嵌入式设备中(如：手机、机器人、无人机、智能识别眼镜等)，不管在军事方面的抢险救灾、敌情勘探，还是在民事方面的移动智能识别、便民出行等起到重大的促进作用，同时智能移动设备也有利于改善国防防御系统的安全性和威慑力，对现代军事对抗中以最小的代价取得胜利具有重要意义。

然而，神经网络拥有庞大的参数量以及复杂的计算过程，使得其运算原理难以被解释，同时限制了它们被应用在各种嵌入式设备当中。为了解决这类问题，之前的方法[9]通过将网络看成一个整体来解释其输入输出的对应联系，从而进一步解释神经网络。为了进一步解释神经网络内部属性，一些可视化方法[10,11]通过可视化网络内部特征图，基于像素级别的分析来解释神经网络的工作原理。除此之外，还有一部分可解释方法[12,13]基于滤波器级别的分析，通过探索滤波器在网络中扮演的角色，负责检测的区域来解释神经网络的原理。这些方法一般都是通过分析单个滤波器的作用来解释网络，然后后续的部分方法[14,15]发现多个滤波器的组合能够更好地表征语义特征，因此逐渐也有一些方法[16,17]通过多个不同层的滤波器组成的计算路径来解释神经网络的运行原理。

基于以上分析，本发明人针对神经网络可解释性差的缺点，考虑到神经网络本身的特性，提出一种可解释神经网络解耦方法，本案由此产生。

涉及的参考文献：

[1].A.Krizhevsky,I.Sutskever,G E.Hinton.Imagenet classification withdeep convolutional neural networks.Advances in neural information processingsystems.2012:1097-1105.

[2].K.Simonyan,A.Zisserman.Very deep convolutional networks forlarge-scale image recognition.arXiv preprint arXiv:1409.1556,2014.

[3].C.Szegedy,W.Liu,Y.Jia,et al.Going deeper withconvolutions.Proceedings of the IEEE Conference on Computer Vision andPattern Recognition.2015:1-9.

[4].K.He,X.Zhang,S.Ren,et al.Deep residual learning for imagerecognition.Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2016:770-778.