[发明专利]一种深度神经网络的压缩方法、系统及终端设备

说明书

本发明适用于计算机技术领域，提供了一种深度神经网络的压缩方法、系统及终端设备，包括：输入测试样本数据，获取深度神经网络第L层的原特征图，并根据第L层的原特征图确定第L层的冗余滤波器；根据冗余滤波器对第L层进行剪枝；获取第L+1层的原特征图和第L层剪枝后的特征图；将第L+1层的原特征图和第L层剪枝后的特征图输入到滤波器学习模型中，通过滤波器学习模型自动学习并输出第L+1层的重构滤波器；将第L层剪枝后的特征图输入第L+1层的重构滤波器获取第L+1层的目标特征图，基于特征图进行剪枝和重构，结合剪枝的影响自动学习并重构滤波器，在实现滤波器的结构化稀疏的同时保证压缩后的深度神经网络模型的分类准确性，提高了计算效率。

技术领域

本发明属于计算机技术领域，尤其涉及一种深度神经网络的压缩方法、系统及终端设备。

背景技术

深度神经网络(Convolutional Neural Network，CNN)通过利用大量数据的大规模网络学习，在分类、检测和分割等计算机视觉任务中取得了显著的成功。然而，深度神经网络通常会占用大量计算资源和存储空间，使得其在移动和嵌入式等资源受限型设备上的部署存在困难。为了降低计算和存储成本，许多研究工作从存储和提速角度对深度神经网络模型进行压缩，压缩方法包括剪枝、低秩分解、参数量化、变换/压缩卷积核和设计紧凑的网络结构等。

剪枝作为一种有效的深度神经网络压缩技术，主要分为参数剪枝和特征图通道剪枝。参数剪枝主要作用于全连接层来减少存储，通过减少网络连接，从而缩小网络模型的存储，特征图剪枝主要作用于卷积层进行加速，通过对特征图的冗余通道进行删减。然而参数剪枝方法通常会引入非结构化的稀疏连接，降低深度神经网络的计算效率。特征图剪枝方法通常忽略了特征图的偏置，因而无法准确的判断不重要的滤波器，导致压缩后的深度神经网络模型的分类准确性不高。

综上所述，目前的对深度神经网络进行剪枝压缩处理的方法，存在计算效率低和分类准确性低的问题。

发明内容

有鉴于此，本发明实施例提供了一种深度神经网络的压缩方法、系统及终端设备，以解决目前的对深度神经网络进行剪枝压缩处理的方法，存在计算效率低和分类准确性低的问题。

本发明的第一方面提供了一种深度神经网络的压缩方法，包括：

输入测试样本数据，获取所述深度神经网络第L层的原特征图，并根据所述第L层的原特征图确定所述第L层的冗余滤波器；其中，L为不小于1的正整数；

根据所述冗余滤波器对所述第L层进行剪枝；

获取第L+1层的原特征图和所述第L层剪枝后的特征图；

将所述第L+1层的原特征图和所述第L层剪枝后的特征图输入到滤波器学习模型中，通过所述滤波器学习模型自动学习并输出所述第L+1层的重构滤波器；

将所述第L层剪枝后的特征图输入所述第L+1层的重构滤波器获取所述第L+1层的目标特征图。

本发明的第二方面提供了一种深度神经网络压缩系统，包括：

冗余确定模块，用于输入测试样本数据，获取所述深度神经网络第L层的原特征图，并根据所述第L层的原特征图确定所述第L层的冗余滤波器；其中，L为不小于1的正整数；

剪枝模块，用于根据所述冗余滤波器对所述第L层进行剪枝；

获取模块，用于获取第L+1层的原特征图和所述第L层剪枝后的特征图；

重构模块，用于将所述第L+1层的原特征图和所述第L层剪枝后的特征图输入到滤波器学习模型中，通过所述滤波器学习模型自动学习并输出所述第L+1层的重构滤波器；

生成模块，用于将所述第L层剪枝后的特征图输入所述第L+1层的重构滤波器以生成所述第L+1层的目标特征图。