[发明专利]利用卷积硬件对特征数据进行反卷积处理的方法和装置

说明书

本公开涉及利用卷积硬件对特征数据进行反卷积处理的方法和装置。提供的方法包括：将特征图和反卷积核读入到片上存储器中，并对特征图进行补零处理；基于反卷积核确定多个卷积核；去除每个卷积核中全部元素为无效权重的行和/或列以获得优化卷积核，并去除补零后的特征图中的对应的行和/或列以获得与每个优化卷积核对应的优化特征图；利用乘加阵列对各个优化卷积核和对应的优化特征图进行卷积处理以获得多个卷积输出；以及对多个卷积输出进行交织合成处理以获得交织合成输出，其至少包括与特征图和反卷积核对应的反卷积输出。本公开可以减小硬件复杂度，节省芯片面积开销和功耗开销；通过优化处理减少大量的无效运算，提升卷积硬件的运行效率。

技术领域

本公开涉及人工智能技术领域，尤其涉及一种利用专用卷积硬件对特征数据进行反卷积处理的方法、装置、设备和存储介质。

背景技术

卷积神经网络（CNN）算法凭借其优异的数据集拟合能力和泛化能力被越来越多地用于分析现实世界中的视觉、语音、传感器感知信息以及高层次语义信息。反卷积是一种对图像或特征数据（也称为“特征图”）进行插值或者上采样的操作，其随着深度学习理论创新和应用发展，被越来越多地应用于各种新颖的卷积神经网络系统中，以将低分辨率图像还原到高分辨率图像，或者基于高维度特征图生成低维度特征图。可以预期的是，反卷积处理将在图像风格迁移、超高分辨率、目标检测、语义分割、实例分割、关键点（包括但不限于人体骨骼关键点）检测、深度估计等领域有着广泛的应用。

通用处理器例如中央处理单元（CPU）或图形处理单元（GPU）可用于对特征图进行反卷积处理，其可以采用列到图像（col2im）转换方法，该方法的示例示于图1中。参照图1，在该示例中，反卷积核K为3×3矩阵，输入特征图X为2×2矩阵，二者可分别展开为一维矩阵A和B。将一维矩阵A转置并与一维矩阵B相乘，可得到9×4矩阵C。然后，根据列到图像转换方法，将矩阵C的每一列转换为3×3矩阵表示的二维图像，并且各个矩阵按照宽度方向预定步长s_w和高度方向预定步长s_h进行拼接，重叠部分进行叠加，得到输出特征图。在该示例中，拼接步长s_w和步长s_h均为2，为了便于理解，在矩阵C中用相同的下角标指示了在拼接时将会彼此叠加的各个像素，所得到的输出特征图为5×5矩阵。最后，还可以根据高度（h）和宽度（w）方向的补零参数p_h、p_w以及输出补零参数op_h、op_w，对输出特征图进行剪裁，上侧裁去p_w行像素，左侧裁去p_h列像素，下侧裁去（p_w-op_w）行像素，右侧裁去（p_h-op_h）列像素，从而得到最终的反卷积输出特征图。

虽然图1的方法可利用通用处理器来执行，但是通用处理器的硬件架构设计并不适合于神经网络模型中大量包括的卷积、池化、反卷积等处理，运行效率非常低。为了提高性能，一般要求通用处理器具有高的计算性能和大容量缓存及内存，这又会导致非常高的能耗和硬件成本，因此通用处理器并不适于用在终端设备中。为了克服通用处理器的这些缺点，目前已经开发了专用的硬件加速器，其适于以滑动窗口（sliding window）的方式来执行卷积、池化和反卷积等处理，运行效率高，而且功耗很低，非常适合用在终端设备中。