[发明专利]一种解释卷积神经网络的可视化方法

说明书

本发明涉及一种解释卷积神经网络的可视化方法，包括：准备卷积神经网络模型M及其训练集S；提取模型M在决策过程中所使用到的全部判定条件；利用神经元和人类语料库中语义的匹配程度来决定神经元的语义，为所有判定条件生成可理解语义；成决策树T，以其决策过程作为模型M的决策过程；将决策树T转化为树流图；制作神经元语义视图；制作神经元关系图；制作决策数据流图；构建可交互可视化系统。

技术领域

本发明涉及机器学习和可视化技术，尤其是解释深层卷积神经网络的可视化方法。

背景技术

机器学习已经成为一项最有效率的数据分析工具。在工业及学术领域受到了广泛的关注。尽管机器学习模型拥有着极高的效率，但模型的不透明性和无法解释是其最被人诟病的地方。如果根据解释性和学习能力来看待的机器学习模型的话，会发现线性回归有最高的可解释性及最低的学习能力，而神经网络模型则相反，拥有最低的可解释性和最高的学习能力。与此同时，工业上，使用神经网络做预测的用户需要理解神经网络是如何做出决策。学术上，科研工作者也希望对神经网络有更深的了解。因此，为了加深对神经网络的理解，神经网络的解释领域受到了广泛的关注，而对神经网络理解的提高也有利于对深度学习领域的发展，本发明中，以理解卷积神经网络的可视化方法作为试验对象。

为了打开神经网络这一黑盒，目前已经提出的方法大致分为三种：一是使用解释性高的模型去拟合神经网络模型的决策边界[1]，例如使用线性回归解释局部样本，该方法只能解释局部，无法解释整体。二是使用基于规则的方法直接提取神经网络模型的决策规则[2,3,4,5]，这些规则可以是IF-THEN等。该方法能够提供整个神经网络模型的决策过程，也是当前领域中研究的重点。然而，该方法也只适用于浅层神经网络(只有一层隐含层)，一旦碰到深层神经网络，由于提取的规则太过复杂，人类无法分析理解，从而导致该方法的失效，在遇到卷积神经网络时，该方法所提取规则的复杂度会进一步提高。三是付琨等人(专利公开号CN106909945A)提出的一种深度学习特征的可视化，但只是定性的分析卷积特征，相当于验证了深度学习模型所学习到的特征是从低级到高级，并不能理解模型的决策过程。因此，这些方法使用范围有限，不具有普遍性。

参考文献：

[1]M.T.Ribeiro,S.Singh,and C.Guestrin.Why should i trust you？:Explaining the predictions of any classifier.In Proceedings of the 22nd ACMSIGKDD International Conference on Knowledge Discovery and Data Mining,pp.1135–1144.ACM,2016.

[2]M.Craven and J.W.Shavlik.Using sampling and queries to extractrules from trained neural networks.In ICML,pp.37–45,1994.

[3]M.Craven and J.W.Shavlik.Extracting tree-structuredrepresentations of trained networks.In Advances in neural informationprocessing systems,pp.24–30,1996.

[4]R.Krishnan,G.Sivakumar,and P.Bhattacharya.Extracting decisiontrees from trained neural networks.Pattern Recognition,32(12),1999.