[发明专利]基于多粒度的深度神经网络结构化稀疏系统和方法

说明书

本发明提供基于多粒度的深度神经网络结构化稀疏系统和方法，将三个粒度层次的权重剪枝以及激活输入的稀疏结合起来进行算法优化和系统架构，能够高效地将深度神经网络部署到边缘设备，在低能耗约束条件下取得可观的性能。通过结合通道层次、滤波器层次和滤波器内剪枝三个层次，同时考虑硬件并行计算的约束，使得通道剪枝和滤波器剪枝的结果，其数目为16的倍数；对于滤波器内的剪枝，通过算法优化使得其形状满足特定要求，从而能够实现在硬件约束下的多粒度剪枝；通过三值网络进行低比特量化，并且与后续的剪枝相结合，不仅保证有可观的准确性和稳定性，还可以很好地实现无乘法器的设计，从而实现低功耗的目的。

技术领域

本发明涉及深度神经网络的模型和算法，具体为基于多粒度的深度神经网络结构化稀疏系统和方法。

背景技术

随着人工智能技术的快速发展，目前已越来越多地适用于实际生产和生活上。当前，人工智能正逐渐发展为新一代通用技术，加快与经济社会各领域渗透融合，已在医疗、金融、安防、教育、交通、物流等多个领域实现新业态、新模式和新产品的突破式应用，带动生产流程、产品、信息消费和服务业的智能化、高附加值转型发展。

但是，人工智能技术的优异成就，伴随着巨大的计算负荷。其核心算法之一的深度神经网络，对每个输入需要进行上亿次运算，对硬件计算平台提出了巨大的挑战。为了能够真正地将人工智能技术部署到我们身边各种设备，原来复杂的神经网络模型必须进行精简，同时硬件计算平台也需有专门的特殊设计与优化，以适配这种特殊而复杂的计算模型。

为了能够灵活而高效地应对不同的模型和使用场景，传统的计算平台例如CPU(中央处理单元)和GPU(图像处理单元)等，不足以满足使用需求。主要体现在两方面，一方面是计算量/并行性的瓶颈，另一方面是功耗的瓶颈。不同的模型都具有很大的运算量，主要集中在卷积计算的阶段，而在传统的CPU平台上，并行设计一般通过多发射、多核等方法实现，一般计算单元的数量有限，面向神经网络这样特殊的计算框架，计算速度很难达到设备的要求。对于GPU计算平台，虽然它们有很良好的并行性，但是功耗颇大，一般达到上百瓦的量级，不适合在边缘端进行部署；在进行简化后的算法和系统的准确性和稳定性无法满足深度神经网络的使用需求。

发明内容

针对现有技术中存在的问题，本发明提供基于多粒度的深度神经网络结构化稀疏系统和方法，结构框架简单明晰，设计合理，消耗功耗低，处理速度快，准确性和稳定性满足深度神经网络的使用需求。

本发明是通过以下技术方案来实现：

基于多粒度的深度神经网络结构化稀疏方法，包括如下步骤，

步骤1，对深度神经网络中网络卷积层的输入和权值的量化操作；使用三值网络量化的方法对权重进行表示，同时使用8比特量化深度神经网络的激活输入；所述的三值网络量化时使用-1，+1和0来表示权重，所述的8比特量化时对原始数据和输出数据均采用8比特定点量化，中间临时结果采用16比特量化；

步骤2，对深度神经网络中网络卷积层的结构性剪枝；分别进行通道剪枝、滤波器剪枝和滤波器内部权重特殊样式剪枝处理；

通过对网络卷积层中输出特征图的去除，实现对应通道剪枝；通过去除特征图之间的部分连接，实现对应滤波器剪枝；若滤波器内部权重特征图的零值具备基本图案或基本图案的旋转或两种及以上基本图案交集的需求，则进行滤波器内部特殊样式剪枝。

优选的，利用ReLU得到的激活输入的稀疏；激活输入通过多播形式广播到多个运算单元，使得运算单元之间在激活输入层级上保持彼此的平衡，当某个激活输入为零值，经过识别模块后16个运算单元都可以同时跳过该激活输入对应的运算周期。

优选的，步骤2中，所述的通道剪枝和滤波器剪枝后，最终的通道数为16的整数倍，保持计算单元之间数据负载的平衡性。