[发明专利]深度神经网络的压缩方法、芯片、电子设备及介质

说明书

本公开涉及深度神经网络的压缩方法、芯片、电子设备及介质。提供了一种深度神经网络的压缩方法，所述深度神经网络包括多个层，所述方法包括，对于所述多个层中的除了输入层以外的至少一个层：从参数存储空间读取该层的参数；从特征图存储空间读取由上一层存储的第一特征图；基于所读取的参数和第一特征图生成第二特征图；对第二特征图进行压缩得到第三特征图；以及将第三特征图存储到所述特征图存储空间中。

技术领域

本公开涉及神经网络，更具体地涉及深度神经网络的压缩。

背景技术

深度神经网络(Deep Neural Networks，DNN)是人工智能技术的核心。目前，深度神经网络得到了广泛的研究和关注，被用在包括计算机视觉、语音识别、机器人、自动驾驶等诸多人工智能应用领域中。

深度神经网络由多个神经网络层构成，包括输入层、若干隐藏层(又称中间层)、以及输出层。当前深度神经网络的层级数量往往非常大，甚至多达上千层，每一层都具有数量庞大的节点。从而，整个深度神经网络可能包括数以百万计甚至千万计的参数，需要非常大的存储空间和内存带宽。这一方面增大了存储成本，另一方面严重影响了深度神经网络的性能。尤其是对于诸如视频监控、自动驾驶等实时应用，深度神经网络的存储问题正在成为其性能和硬件设计的瓶颈。

发明内容

根据本公开的一个方面，提供一种深度神经网络的压缩方法，所述深度神经网络包括多个层，所述方法包括，对于所述多个层中的除了输入层以外的至少一个层：从参数存储空间读取该层的参数；从特征图存储空间读取由上一层存储的第一特征图；基于所读取的参数和第一特征图生成第二特征图；对第二特征图进行压缩得到第三特征图；以及将第三特征图存储到所述特征图存储空间中。

根据本公开的另一个方面，提供一种芯片，包括：存储器，所述存储器包括参数存储空间和特征图存储空间，所述参数存储空间用于存储深度神经网络的参数，所述特征图存储空间用于存储所述深度神经网络的特征图；以及深度神经网络引擎，所述深度神经网络引擎被配置为与所述存储器配合以执行根据本公开中所述的方法。

根据本公开的另一个方面，提供一种电子设备，包括：图像传感器，所述图像传感器被配置为捕获图像和/或视频数据；以及前述的芯片，所述芯片被配置为利用深度神经网络处理所捕获的图像和/或视频数据以进行目标识别。

根据本公开的另一个方面，提供一种电子设备，包括：处理器；以及存储程序的存储器，所述程序包括指令，所述指令在由所述处理器执行时使所述电子设备执行本公开中所述的方法。

根据本公开的另一个方面，提供一种存储程序的计算机可读存储介质，所述程序包括指令，所述指令在由处理器执行时，使所述处理器执行本公开中所述的方法。

附图说明

附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代相同的要素。

图1是示出根据本公开的示例性实施例的深度神经网络的示意图；

图2是示出根据本公开的示例性实施例的卷积神经网络(Convolutional NeuralNetwork，CNN)的示意图；

图3是示出根据本公开的示例性实施例的对深度神经网络进行压缩的示例性方法的流程图；

图4是示出根据本公开的示例性实施例的对特征图进行压缩的示意性框图；

图5是示出根据本公开的示例性实施例的深度神经网络的推断过程的示意图；

图6是示出根据本公开的示例性实施例的深度神经网络的训练过程的示意图；

图7是示出根据本公开的示例性实施例的芯片的示意图；