[发明专利]基于多粒度的深度神经网络结构化稀疏系统和方法

摘要

本发明提供基于多粒度的深度神经网络结构化稀疏系统和方法，将三个粒度层次的权重剪枝以及激活输入的稀疏结合起来进行算法优化和系统架构，能够高效地将深度神经网络部署到边缘设备，在低能耗约束条件下取得可观的性能。通过结合通道层次、滤波器层次和滤波器内剪枝三个层次，同时考虑硬件并行计算的约束，使得通道剪枝和滤波器剪枝的结果，其数目为16的倍数；对于滤波器内的剪枝，通过算法优化使得其形状满足特定要求，从而能够实现在硬件约束下的多粒度剪枝；通过三值网络进行低比特量化，并且与后续的剪枝相结合，不仅保证有可观的准确性和稳定性，还可以很好地实现无乘法器的设计，从而实现低功耗的目的。

主权项

1.基于多粒度的深度神经网络结构化稀疏方法，其特征在于，包括如下步骤，步骤1，对深度神经网络中网络卷积层的输入和权值的量化操作；使用三值网络量化的方法对权重进行表示，同时使用8比特量化深度神经网络的激活输入；所述的三值网络量化时使用‑1，+1和0来表示权重，所述的8比特量化时对原始数据和输出数据均采用8比特定点量化，中间临时结果采用16比特量化；步骤2，对深度神经网络中网络卷积层的结构性剪枝；分别进行通道剪枝、滤波器剪枝和滤波器内部权重特殊样式剪枝处理；通过对网络卷积层中输出特征图的去除，实现对应通道剪枝；通过去除特征图之间的部分连接，实现对应滤波器剪枝；若滤波器内部权重特征图的零值具备基本图案或基本图案的旋转或两种及以上基本图案交集的需求，则进行滤波器内部特殊样式剪枝。