[发明专利]一种神经网络加速方法、装置、设备、芯片及存储介质

说明书

本申请实施例公开了一种神经网络加速方法、装置、设备、芯片及存储介质，该方法包括：对原始神经网络结构中的至少一种卷积核尺寸分别进行核稀疏模式KSP统计，确定至少一组KSP集合；其中，每一种卷积核尺寸对应一组KSP集合，且每一组KSP集合包括预设数量种KSP掩码矩阵；基于至少一组KSP集合，确定原始神经网络结构的各卷积层中每一卷积核对应的KSP掩码矩阵；利用KSP掩码矩阵对原始神经网络结构的各卷积层中每一卷积核进行剪枝处理，得到稀疏神经网络结构。这样，通过引入基于KSP的模式剪枝来限制整个神经网络中可以出现的KSP个数，不仅降低了运算量，增强了稀疏神经网络的表达能力，而且还提升了稀疏神经网络的压缩比和精度。

技术领域

本申请涉及神经网络技术领域，尤其涉及一种神经网络加速方法、装置、设备、芯片及存储介质。

背景技术

近年来，深度学习(Deep Learning，DL)的崛起不断推动着人工智能的发展。而以卷积神经网络为代表的DL算法在计算机视觉、自动驾驶等领域中已被广泛应用于分类、识别、降噪、超分(Super-resolution)等任务，然而其复杂的结构导致即使在推理时也需要占用大量的功耗和计算资源，严重限制了此类技术在功耗和资源受限的移动和嵌入式平台上的部署，因而在此之前需要对其进行一定的压缩。

目前，一些主流的神经网络压缩方法包括有量化(Quantization)、剪枝(Pruning)、知识蒸馏(Knowledge Distillation)、神经网络结构搜索(NeuralArchitecture Search，NAS)等等。其中，剪枝是指从原始神经网络中系统性地剪去部分不重要的权重而尽量少地损失精度，以减少神经网络的参数量，来达成降低各项资源占用的益处。虽然目前已经存在一些剪枝方式，但是现有的这些剪枝方式要么运算量大，费时费力；要么灵活性差，造成精度损失。

发明内容

本申请提出一种神经网络加速方法、装置、设备、芯片及存储介质，不仅可以降低运算量，而且还可以提升压缩比和精度。

为达到上述目的，本申请的技术方案是这样实现的：

第一方面，本申请实施例提供了一种神经网络加速方法，该方法包括：

对原始神经网络结构中的至少一种卷积核尺寸分别进行核稀疏模式KSP统计，确定至少一组KSP集合；其中，每一种卷积核尺寸对应一组KSP集合，且每一组KSP集合包括预设数量种KSP掩码矩阵；

基于所述至少一组KSP集合，确定所述原始神经网络结构的各卷积层中每一卷积核对应的KSP掩码矩阵；

利用所述KSP掩码矩阵对所述原始神经网络结构的各卷积层中每一卷积核进行剪枝处理，得到稀疏神经网络结构。

第二方面，本申请实施例提供了一种神经网络加速装置，该神经网络加速装置包括统计单元、分配单元和剪枝单元；其中，

所述统计单元，配置为对原始神经网络结构中的至少一种卷积核尺寸分别进行KSP统计，确定至少一组KSP集合；其中，每一种卷积核尺寸对应一组KSP集合，且每一组KSP集合包括预设数量种KSP掩码矩阵；

所述分配单元，配置为基于所述至少一组KSP集合，确定所述原始神经网络结构的各卷积层中每一卷积核对应的KSP掩码矩阵；

所述剪枝单元，配置为利用所述KSP掩码矩阵对所述原始神经网络结构的各卷积层中每一卷积核进行剪枝处理，得到稀疏神经网络结构。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括存储器和处理器；其中，

所述存储器，用于存储能够在所述处理器上运行的计算机程序；

所述处理器，用于在运行所述计算机程序时，执行如第一方面所述的方法。