[发明专利]一种基于卷积神经网络的通道扩展方法

说明书

本发明提供一种基于卷积神经网络的通道扩展方法，用于替换卷积神经网络中通用的卷积扩展通道和池化操作，从而保证有效数据不损失的情况下减少卷积神经网络在中间运算的冗余数据，其特征在于，包括如下步骤：步骤S1，根据在卷积池化前后特征图的分辨率变化率计算特征图数据的分辨率及通道数；步骤S2，将4个维度的特征图数据中对应高和宽的通道进行维度拆分，形成6个维度；步骤S3，将拆分后的特征图数据进行维度调转：第3、5维度调换为第5、6维度；步骤S4，将调换后的特征图数据中第2、3、4维度进行维度合并，重新整合为4个维度。

技术领域

本发明属于深度学习领域以及计算机视觉研究领域，具体涉及一种基于卷积神经网络的通道扩展方法。

背景技术

数字图像分析技术在当今社会发挥着重要作用，机器视觉技术的发展已经逐渐抛弃传统数字图像处理的手工设计算法的方案，转而使用深度学习，以卷积神经网络(Convolutional NeuralNetwork,CNN)为代表，以达到高准确率的目标检测结果。然而，现有的CNN网络直接处理的图像数据分辨率较低，这与当下普遍使用的高清图像远远无法兼容，其原因之一是CNN模型中执行特征提取算法时，特征图(feature maps)的通道数巨大，中间冗余数据过多。因此，本发明提出一种减少中间冗余数据，并保证特征图通道扩展性能不变的方法。

深度学习革命爆发在2011～2012年，深度学习革命使得计算机视觉在很多应用领域达到了实用水平，催生了工业界的大量应用。其最重要的原因是深度学习可以做到传统方法无法企及的精度，尤其是基于CNN的深度学习模型，现在已经成为计算机视觉的主流方法。

卷积神经网络是一种常见的深度学习网络架构，受生物自然视觉认知机制启发而来。CNN能够得出原始图像的有效表征，这使得CNN能够直接从原始像素中，经过极少的预处理，捕获到视觉上面的规律。

然而，目前几乎所有的深度卷积神经网络，都要进行大量的特征提取操作从而形成特征图。而特征图的生成过程，是有复杂的若干阶段，为了保证深度学习模型的反向传播能够正常进行，每一阶段的特征图都需要保留在内存/显存里。传统的卷积神经网络在提取特征图过程中，使用卷积操作进行通道扩展，将特征图的通道数成倍增加并产生大量冗余数据，然后通过池化(pooling)操作将特征图分辨率降低从而操作精简数据滤除冗余。但是这个过程中因通道扩展带来的冗余数据会不可避免地消耗巨大的计算资源，当图片数据较大，或者深度模型较为复杂时，内存/显存的计算资源将无法承担计算过程中的冗余数据，这种巨大的资源消耗会成为难以解决的问题。

发明内容

为解决上述问题，提供一种保证有效数据不损失的情况下，减少中间运算冗余数据的通道扩展方法，本发明采用了如下技术方案：

本发明提供了一种基于卷积神经网络的通道扩展方法，用于替换卷积神经网络中通用的卷积扩展通道和池化操作，从而保证有效数据不损失的情况下减少卷积神经网络在中间运算的冗余数据，其特征在于，包括如下步骤：步骤S1，根据在卷积池化前后特征图的分辨率变化率计算特征图数据的分辨率及通道数；步骤S2，将4个维度的特征图数据中对应高和宽的通道进行维度拆分，形成6个维度；步骤S3，将拆分后的特征图数据进行维度调转：第3、5维度调换为第5、6维度；步骤S4，将调换后的特征图数据中第2、3、4维度进行维度合并，重新整合为4个维度，其中，步骤S2包括如下子步骤：步骤S2-1，将特征图数据在内存和/或显存中连续化；步骤S2-2，拆分特征图数据中的第3、4维度，步骤S4包括如下子步骤：步骤S4-1，将调换后的特征图数据在内存和/或显存中连续化；步骤S4-2，合并调换后的特征图数据中的第2、3、4维度。