[发明专利]卷积神经网络的压缩方法、装置、电子设备和介质

说明书

本发明提供了一种卷积神经网络的压缩方法、装置、电子设备和介质，涉及人工智能技术领域，包括：获取卷积神经网络中待计算卷积层的输入特征图，其中，输入特征图为卷积神经网络的输入图像在其沿网络前向传播的过程中，在待计算卷积层处形成的输入特征图；计算输入特征图经过待计算卷积层中每个卷积核的卷积处理之后，输出特征图的L1范数，得到至少两个L1范数；利用至少两个L1范数对待计算卷积层的卷积核进行压缩，压缩之后得到目标卷积神经网络，本发明缓解了在采用现有的卷积神经网络压缩方法对卷积神经网络进行压缩时，对卷积神经网络的准确性影响较大的技术问题。

技术领域

本发明涉及人工智能技术领域，尤其是涉及一种卷积神经网络的压缩方法、装置、电子设备和介质。

背景技术

侵入铁路周界的异物是严重威胁铁路安全的重要因素之一。我国高速铁路线路都建有综合视频监控系统，并具备初步的视频分析和自动识别异物入侵能力。但是，现有基于图像背景差分原理的异物检测算法普遍存在误报率高的问题，无法满足现场实际需求。随着深度学习在各个领域取得的进步，将深度学习中的卷积神经网络(convolutionalneural networks，CNN) 应用于铁路异物入侵检测成为一个新的研究方向。但是拥有数十甚至上百层的深度神经网络非常难以部署到硬件资源有限的系统中。对于高速铁路，为了实现线路周界入侵检测，需要每隔100～200米就安装一台监控摄像机，因此周界入侵检测系统需要面临海量视频的实时处理，而大型CNN网络模型存在的计算量大和占用内存多等问题，导致基于CNN的异物检测系统存在实时性和经济性缺陷。因此，有必要研究网络模型压缩方法，在保证检测准确度的条件下，降低网络模型规模和计算量。

现有深度神经网络模型压缩技术主要有低秩分解、知识精炼、迁移与压缩卷积滤波器以及参数修剪与共享等方法。低秩分解方法需借助非线性优化算法逐层压缩，计算量较大，同时无法保证收敛到最优解。知识精炼的方法能够将深度和宽度的网络模型压缩为浅层模型，通过遵循学生-教师的框架进行模型压缩减少深度网络的训练量和计算成本，这种方法对于采用softmax分类层的网络具有一定效果。迁移卷积层的方法准确率较低，在某些数据集上的结果不稳定。依照减少冗余信息的技术方式，参数修剪和共享可以分为三类：结构化矩阵、二进制化与量化等。结构化矩阵的缺点是这种结构约束会导致精度损失，并且如何找到一种适当的结构矩阵比较困难。对权重进行二进制化操作对准确率的影响较大。

发明内容

有鉴于此，本发明的目的在于提供一种卷积神经网络的压缩方法、装置、电子设备和介质，以缓解了在采用现有的卷积神经网络压缩方法对卷积神经网络进行压缩时，对卷积神经网络的准确性影响较大的技术问题。

第一方面，本发明实施例提供了一种卷积神经网络的压缩方法，所述卷积神经网络中包括多个依次连接的卷积层，每个卷积层包括至少两个卷积核，包括：获取所述卷积神经网络中待计算卷积层的输入特征图，其中，所述输入特征图为所述卷积神经网络的输入图像在其沿网络前向传播的过程中，在所述待计算卷积层处形成的输入特征图；计算所述输入特征图经过所述待计算卷积层中每个卷积核的卷积处理之后，输出特征图的L1范数，得到至少两个L1范数；利用所述至少两个L1范数对所述待计算卷积层的卷积核进行压缩，压缩之后得到目标卷积神经网络。

进一步地，利用所述至少两个L1范数对所述待计算卷积层的卷积核进行压缩，压缩之后得到目标卷积神经网络包括：将所述至少两个L1范数中最小L1范数所对应的卷积核删除；或者，将所述至少两个L1范数中前L 个最小L1范数所对应的卷积核删除，其中，N为大于1且小于该卷积层卷积核个数的正整数。

进一步地，将所述至少两个L1范数中前N个最小L1范数所对应的卷积核删除包括：对所述至少两个L1范数按照目标顺序进行排序，得到排序结果，其中，所述目标顺序包括：由大到小的顺序，或者，由小到大的顺序；将所述排序结果中前N个最小L1范数所对应的卷积核删除。