[发明专利]一种基于查找表计算的双层同或二值神经网络压缩方法

说明书

本发明公开了一种基于查找表计算的双层同或二值神经网络压缩方法，所述压缩方法由双层卷积结构完成，其算法包括以下步骤：首先，将输入特征图经过非线性激活、批归一化和二值激活后，分组进行不同卷积核尺寸的第一层卷积操作得到第一层输出结果；然后，对第一层输出结果采用1×1大小的第二层卷积操作得到输出特征图。在硬件实现上，对改进的双层卷积使用双层并行计算的三输入同或操作代替了传统双层顺序计算方式，并将所有的双层卷积操作都使用查找表方式完成计算，提高硬件资源利用率。本发明提供压缩方法是一种融合全精度高效神经网络技巧和查找表计算方式的算法硬件协同压缩方案，在结构上有较好的压缩效果，在硬件上也减少了逻辑资源消耗。

技术领域

本发明涉及一种二值神经网络的FPGA优化设计技术，属于数字图像处理技术领域。

背景技术

基于深度学习技术的蓬勃发展，卷积神经网络(CNN)在数字图像处理领域的应用越来越广泛。从最经典的AlexNet开始，到Facebook研究院提出的ResNet残差神经网络，深度卷积神经网络开始步入高速发展时期，神经网络的性能也在逐步攀升。在实际应用方面，谷歌使用卷积神经网络在自动驾驶、人脸识别等方面都取得了显著成果。与此同时卷积神经网络在发展的过程中也遇到了一些挑战，如卷积神经网络高计算量和高复杂度特性使得CNN较难应用于嵌入式设备中。

而随着移动智能终端设备普及,希望在一些只有低性能处理器的设备上也能实现神经网络的算法。因此，CNN的变体BCNN(二值卷积神经网络)以其能够无需进行乘法操作进行提取特征的优势而在轻量级和低功耗方面倍受关注。2016年的加拿大蒙特利尔大学Courbariaux等在《Binarized neural networks:Training deep neural networks withweights and activations constrained to+1or-1》(arXiv preprint arXiv:1602.02830,2016.)中提出基于卷积神经网络的新型二值化算法，他将神经网络的权重和每层的激活值二值化，节省大量的存储空间、计算资源和前向传播的时间，通过对卷积权重(weights)和输出特征图(FeatureMap)乘以系数进行补偿，能够实现在没有大幅度降低模型精度的情况下理论上能使计算复杂度降低60％。这表明，二值化方法可以有效降低硬件资源消耗，减少计算成本，提高神经网络的处理速度，并有助于芯片上实现神经网络算法。同年，由华盛顿大学的Mohammad Rastegari提出的XNORNet让传统的卷积乘法卷积操作变成了同或操作，使得二值神经网络的硬件实现变得更加简便。但相较于全精度卷积神经网络的分类能力而言，二值神经网络的特征提取能力还有所欠缺，二值化神经网络相当于全精度神经网络的正则化过程，进一步稀疏网络的复杂度。二值化过程使得网络提取的特征进行二值激活后出现较大的损失，如何在二值化的情况下提取更多有效特征成为二值神经网络的关键问题。近两年来，不同的专有二值算法被提出，比如并行网络PC-BNN ABC-Net等等都达到了较好的效果，但二值算法识别性能提高的同时，并没有大大的降低硬件实现的成本问题，出现了算法简单但不适合硬件等问题。综上所述，二值卷积神经网络的算法初见规模，进一步发展有利于硬件实现的二值神经网络的算法是未来二值神经网络发展的一个方向。

由于神经网络算法计算量巨大,所以直接在终端以软件的形式实现这些算法变得异常困难,研究神经网络专用加速硬件是当前的一个发展趋势。因此，不同的神经网络专用加速结构得到提出，在设计加速硬件过程中主要考虑的问题是如何运行得更快及更省硬件资源。针对于运行得更快的问题,专家们主要研究的是神经网络算法的并行化运算模式,与硬件能够并行执行的特点相匹配,来加速算法的执行。而针对节约硬件资源的问题,主要的研究方向是神经网络算法中蕴含的数据复用以及功能复用部分,可以减小硬件资源的开销。