[发明专利]基于离散系数的深度网络模型压缩方法

说明书

本发明公开一种基于离散系数的深度网络模型压缩方法，包括以下步骤：步骤一、构建深度网络模型；步骤二、获取数据集样本；步骤三、将数据集样本输入深度网络模型，获得特征图集合；步骤四、计算深度网络模型中各卷积核的激活值；步骤五、利用各卷积核的激活值计算各卷积核的离散系数；步骤六、根据离散系数计算各卷积核的贡献度；步骤七、根据深度网络模型各层卷积核的贡献度对深度网络模型的各层卷积核进行删减。本发明结构简单、设计合理，利用离散系数计算贡献度，借用贡献度鉴别不重要的卷积核并删掉，解决深度网络模型节点规模庞大的问题，影响深度网络模型精度的同时提高了运行速度，引入离散系数，增强了深度网络模型的可解释性。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于离散系数的深度网 络模型压缩方法。

背景技术

随着近些年计算机性能的快速发展，深度学习卷积网络模型成为了引 领本轮的人工智能热潮的关键技术，得到了社会的广泛讨论与关注。深度 学习卷积网络模型已经在计算机视觉、自然语言处理、音频识别等领域取 得了重大成果，如应用于视觉领域的卷积神经网络和应用于语音识别或自 然语言处理领域的递归神经网络等，这些神经网络技术均极大地提高了相 应领域的处理精度。

深度神经网络与浅层学习相比，深度神经网络的开发潜力巨大。然而， 尽管深度学习技术已经取得许多不错的成绩，但其仍然存在着一些需要攻 克的局限与缺点。目前深度网络模型对于使用者来说如同一个黑盒，使用 者缺乏对深度学习卷积网络模型运行的网络结构和中间过程的清晰认识， 使用者对深度学习卷积网络模型输入一个参数，然后通过深度学习卷积网 络模型计算后得出决策结果，但是使用者并不能清晰的知道深度学习卷积 网络模型内部决策的过程以及决策的依据是什么，从而也无法得知决策结 果是否可靠。

深度学习卷积网络模型可解释性的缺乏严重制约着其进一步落地：缺 乏可解释性就意味着使用者无法预期黑盒的可靠性，往往不敢贸然承担极 大风险完全依赖于用深度学习卷积网络模型去解决安全攸关领域中各方 面的问题，例如军事方面的情报搜集、敌我态势评估，政经方面的投资预 测、风险评价，选民投票意向分析，甚至无人驾驶、医疗领域。从军事的 角度来看，真实战场中存在的不确定因素多，环境复杂，加上来自敌方的 信息封锁以及干扰对抗，这些不可控因素都急切要求参战方对黑盒作出一 定程度的解释，以增强其在恶劣环境中的可靠性，使之能够真正发挥出应 有的价值。此外，深度学习卷积网络模型可解释性的严重匮乏也导致了其 可靠性方面面临的诸多质疑。而在某些应用场景中，哪怕只是微小的扰动， 都有可能会影响系统运作的性能。为了提高深度学习卷积网络模型的可解 释性和透明性，建立用户与深度学习卷积网络模型之间的信任关系，消除 深度学习卷积网络模型在实际部署应用中的潜在威胁，国内研究人员也对 其黑盒特性进行深入研究，提升智能算法的可理解性、透明性和可信性。

综上所述，深度学习卷积网络模型透明性、可解释性、可信性不足， 使得其无法直接应用于安全敏感任务中。因此对深度学习技术的可理解 性、透明性和可信性展开深入研究，简化和理解深度学习卷积网络模型， 可以为军事研究、社会进步提供一个强有力的工具，具有极为重大的实际 意义。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一 种基于离散系数的深度网络模型压缩方法，其结构简单、设计合理，利用离 散系数计算贡献度，借用贡献度鉴别不重要的卷积核并删掉，解决深度网络 模型节点规模庞大的问题，影响深度网络模型精度的同时提高了运行速度， 引入离散系数，增强深度网络模型的可解释性，使用效果好。

为解决上述技术问题，本发明采用的技术方案是：一种基于离散系数 的深度网络模型压缩方法，其特征在于：包括以下步骤：

步骤一、构建深度网络模型，深度网络模型具有k个卷积层；

步骤二、获取数据集样本，将数据集样本均分为n类，每一类样本类别 均包括m个样本，