[发明专利]一种深度神经网络的通用小型化方法

说明书

技术领域

本发明属于深度学习技术领域，具体地说是一种深度神经网络的通知小型化方法。

背景技术

近几年来，深度学习的迅猛发展，使得计算机视觉、自然语言处理等一系列领域的算法性能都有了跨越式的进展。深度学习算法在学术界已经普遍应用，但在工业界却还没得到非常广泛的应用，其中一个原因就是深度学习网络的模型庞大、计算量巨大，一个卷积神经网络的权重文件动辄数百兆，在科研环境下可以借助庞大的GPU集群提高训练速度、减少运行时间，但要放到实际产品中，数百兆的容量是无法接受的。目前智能手机的性能已经非常优越，但是在app中塞入上百兆的权重也是一个很糟糕的选择；另一方面，在一些嵌入式的平台上，存储计算资源都十分有限，深度学习算法的移植更加困难。所以深度学习模型的压缩，是非常重要的一个问题。

现有的神经网络压缩方法主要包括：

1. 浅层网络：即使用较浅的神经网络，虽然该方法可以大幅度降低模型复杂度和计算量，但和深度网络相比，性能也大幅度下降。

2. 剪枝网络：对网络进行剪裁，以及一些不携带有效信息的权重进行过滤，使用裁剪后的参数再重新对网络训练。

3. 紧凑网络：设计更紧凑的网络结构，其实就是减少每层网络的参数，但使用该方法即使有大批量训练数据的情况下，当模型小到一定程度时，也会带来性能的下降。

4. 对参数进行离散化：比如定点化就是一种方案，将浮点型数据转变成整型后进行计算，极限情况比如二值化，就是对已经训练好的网络进行二值化，减少前向计算的时间。

发明内容

本发明要解决的技术问题是提供一种深度神经网络的通用小型化方法，有效降低存储空间，简化网络的同时仍保有良好的稳定性和有效性，广泛应用于部署在嵌入式和移动计算平台上的深度神经网络模型。

为了解决上述技术问题，本发明采取以下技术方案：

一种深度神经网络的通用小型化方法，包括以下步骤：

对初始的深度神经网络进行特征重构，形成一个新的小型网络；

对深度神经网络的特征通道数和组卷积数进行压缩处理，减少输出的特征通道数和组卷积的个数。

所述特征重构时，采用特征分层方式进行重构，设定一个预定压缩比，分别对深度神经网络的底层特征和高层特征进行重构。

所述重构时，先对深度神经网络的底层特征进行重构，完成底层特征的重构后，再对深度神经网络的高层特征进行重构。

所述对底层特征和高层特征进行重构时，均采用回归的方法分别使重构前后深度神经网络的输出结果的欧氏距离最小。

所述对深度神经网络的特征通道数和组卷积数进行压缩处理时，采用带因子的分离通道的方式，卷积构造N/a1个b*b*a2的组卷积进行卷积操作，a1≤a2。

本发明通过分两层处理，对底层特征和高层特征进行重构，实现对大型复杂的深度神经网络的压缩，形成新的小型网络，有效降低存储空间。在简化网络的同时仍然保持良好的稳定性和有效性。网络计算量减小和运行存储空间减小，运行速度得到加快。该小型化方法有高通用性，广泛应用于部署在嵌入式和移动计算平台上的深度神经网络模型。

附图说明

附图1为本发明中卷积压缩处理的实施例示意图。

具体实施方式

为能进一步了解本发明的特征、技术手段以及所达到的具体目的、功能，下面结合附图与具体实施方式对本发明作进一步详细描述。

本发明揭示了一种深度神经网络的通用小型化方法，该方法能够广泛应用于部署在嵌入式和移动计算平台上的深度神经网络模型，具体包括以下步骤：

对初始的深度神经网络进行特征重构，形成一个新的小型网络。对初始的大型复杂网络进行重构，利用重构的方法对深度神经网络进行压缩处理，从而能够有效的简化原来的深度神经网络。

对深度神经网络的特征通道数和组卷积数进行压缩处理，减少输出的特征通道数和组卷积的个数。达到在降低运行存储空间的同时保持计算量甚至降低计算量的目的。

此外，所述特征重构时，采用特征分层方式进行重构，设定一个预定压缩比，分别对深度神经网络的底层特征和高层特征进行重构。而且，需要有序定向的进行特征重构。先对深度神经网络的底层特征进行重构，完成底层特征的重构后，再对深度神经网络的高层特征进行重构。从而实现分层处理的方式，分成两步对底层特征和高层特征进行重构处理，而且两者所采用的策略完全相同，确保形成的新的小型网络的有效性，降低训练难度。通过重构，大幅压缩深度神经网络，减小其所占的容量。