[发明专利]一种神经网络加速方法、装置、设备、芯片及存储介质

权利要求书

1.一种神经网络加速方法，其特征在于，所述方法包括：

对原始神经网络结构中的至少一种卷积核尺寸分别进行核稀疏模式KSP统计，确定至少一组KSP集合；其中，每一种卷积核尺寸对应一组KSP集合，且每一组KSP集合包括预设数量种KSP掩码矩阵；

基于所述至少一组KSP集合，确定所述原始神经网络结构的各卷积层中每一卷积核对应的KSP掩码矩阵；

利用所述KSP掩码矩阵对所述原始神经网络结构的各卷积层中每一卷积核进行剪枝处理，得到稀疏神经网络结构。

2.根据权利要求1所述的方法，其特征在于，所述对原始神经网络结构中的至少一种卷积核尺寸分别进行核稀疏模式KSP统计，确定至少一组KSP集合，包括：

基于第一卷积核尺寸，对所述原始神经网络结构中所述第一卷积核尺寸对应的所有卷积核进行KSP统计，确定至少一种KSP各自的统计次数；

根据所述至少一种KSP各自的统计次数，从所述至少一种KSP中选取预设数量种KSP；

对所述预设数量种KSP分别进行二值化处理，得到预设数量种KSP掩码矩阵，并将所述预设数量种KSP掩码矩阵组成所述第一卷积核尺寸对应的一组KSP集合；其中，所述预设数量为正整数，所述第一卷积核尺寸为所述至少一种卷积核尺寸的任意一种尺寸；

在确定出所述至少一种卷积核尺寸各自对应的一组KSP集合之后，得到所述至少一组KSP集合。

3.根据权利要求2所述的方法，其特征在于，在所述对所述原始神经网络结构中所述第一卷积核尺寸对应的所有卷积核进行KSP统计之前，所述方法还包括：

利用预设权重阈值对所述第一卷积核尺寸对应的所有卷积核中每一卷积核进行权重过滤处理，确定每一卷积核的KSP；

或者，

计算预设KSP模板集合中的各个KSP模板分别与所述第一卷积核尺寸对应的所有卷积核中每一卷积核之间的相似性度量值，根据所述相似性度量值确定每一卷积核的KSP。

4.根据权利要求2所述的方法，其特征在于，所述根据所述至少一种KSP各自的统计次数，从所述至少一种KSP中选取预设数量种KSP，包括：

按照所述至少一种KSP各自的统计次数对所述至少一种KSP进行降序排列，将排序结果中排列在前的预设数量的KSP确定为所述预设数量种KSP。

5.根据权利要求2或4所述的方法，其特征在于，所述预设数量为预配置参数；或者，所述预设数量是根据所述原始神经网络结构的资源占用信息进行分析确定的。

6.根据权利要求1所述的方法，其特征在于，所述基于所述至少一组KSP集合，确定所述原始神经网络结构的各卷积层中每一卷积核对应的KSP掩码矩阵，包括：

基于所述至少一组KSP集合，确定所述原始神经网络结构的第i卷积层中每一卷积核对应的KSP索引值；

根据所述KSP索引值，从所述第i卷积层中每一卷积核对应的一组KSP集合中查询得到所述第i卷积层中每一卷积核对应的KSP掩码矩阵；其中，i为大于或等于零且小于N的整数，N表示所述原始神经网络结构中的卷积层数量。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

根据所述原始神经网络结构的第i卷积层中每一卷积核对应的KSP索引值，组成所述原始神经网络结构的第i卷积层对应的掩码索引矩阵，并存储所述掩码索引矩阵。

8.根据权利要求6所述的方法，其特征在于，所述基于所述至少一组KSP集合，确定所述原始神经网络结构的第i卷积层中每一卷积核对应的KSP索引值，包括对所述原始神经网络结构的第i卷积层中的每一卷积核执行以下步骤：

对所述卷积核进行权重二值化处理，得到所述卷积核的二值化矩阵；

将所述卷积核的二值化矩阵与所述一组KSP集合中的每一KSP掩码矩阵进行比较；

当所述一组KSP集合中存在与所述卷积核的二值化矩阵相符的KSP掩码矩阵时，将所述KSP掩码矩阵的索引序号确定为所述卷积核对应的KSP索引值。