[发明专利]图像识别层间并行流水线型二值化卷积神经网络阵列架构

说明书

本发明公开了一种图像识别层间并行流水线型二值化卷积神经网络阵列架构，包括：依次设置的M1层、M2层、M3层、M4层及M5层五个计算层，并构成层间流水线，其中：M1层、M2层及M3层各自包含两个卷积层的计算，层内各自构成二级流水线，各层末端还有最大值池化层完成池化计算；M4层与M5层各自包含1个与两个全连接层的计算；每一卷积层及每一全连接层内都设有连接全局控制器的控制单元，以及用于存储权重参数和二值编码参数的存储器。该架构可以提高图像识别计算并行度，降低权重存储需求，同时有效避免乘法计算，降低功耗，提高能效。

技术领域

本发明涉及二值化卷积神经网络领域，尤其涉及一种图像识别层间并行流水线型二值化卷积神经网络阵列架构。

背景技术

生物学中认为生物的大脑神经元和突触组成网络，可用于产生生物意识，帮助生物产生思考和行动。基于此，研究人工神经网络的科学家从中抽象出数学模型，从信息处理角度对人脑神经元进行抽象，建立简单的数学模型，按照不同的连接方式构成网络。目前，人工神经网络应用广泛，在语音识别领域、图像识别领域、目标检测领域等都有应用。在人工神经网络研究过程中，科学家提出卷积神经网络的概念，它是一类包含深度结构的人工神经网络，由前馈神经网络和负反馈神经网络组成，在识别时只进行前馈神经网络计算，训练时则需要进行负反馈神经网络计算。卷积神经网络研究受视觉细胞研究启发，发现初级视觉皮层中的神经元会响应视觉环境中的简单特征，视觉皮层存在简单细胞和复杂细胞，简单细胞对特定空间位置和偏好方向有强烈反应，通过对简单细胞的输入进行池化可以实现复杂空间上的不变性。由此可知，在卷积神经网络中，基础计算为卷积计算和池化计算。卷积计算是使用特定大小的卷积核来提取某个特定区域内的特征，主要是乘累加的计算过程。池化计算则是下采样的过程，下采样可以去除不重要的特征元素，降低特征图规模，减少计算参数，同时能保留特征图的重要特征，使其不影响后续计算。

随着研究的深入，卷积神经网络网络规模逐渐增大，这导致卷积神经网络需要更多存储资源，计算资源消耗也持续增大。因此，研究减少卷积神经网络存储需求和计算需求成了卷积神经网络研究的一个热点。目前，降低卷积神经网络存储需求和计算需求的主流方法有剪枝、奇异值分解、量化、脉冲神经网络等几种方式。剪枝可以在训练时找到相邻两层之间相对不重要的连接并将其权重置0，即相当于剪断连接，因此在计算过程中减少了权重参数存储和计算次数；奇异值分解一般应用在全连接层中，通过奇异值分解的方式可以将两个大规模的矩阵相乘转化为三个较小规模的矩阵相乘，从而也能降低存储需求和计算需求；量化神经网络则是使用较少比特数来表示原浮点数值，一般可用11bit、8bit、5bit、3bit、2bit、1bit等，采用1bit即使用+1和-1两种状态完成计算的网络又叫做二值化卷积神经网络；脉冲神经网络更接近生物神经网络的工作模式，在计算中如果某个突触前神经元的膜电位超过了预设的电压阈值则向后发射一个脉冲，否则对应的突触后神经元因为没有输入脉冲均保持非工作状态，在硬件加速中没有脉冲即无动态功耗，仅存在静态功耗，从而也能降低总功耗。

为了达到图片实时性处理效果，科研工作者一般采用GPU、FPGA和ASIC设计加速器。但是，受限于卷积神经网络存储需求和计算需求大，图像识别消耗资源多，很多硬件难以满足存储需求，计算并行度低，无法实现高能效，因此，基于二值化卷积神经网络，设计一种层间并行流水线型阵列架构用于图像识别是非常重要的。

发明内容

本发明的目的是提供一种图像识别层间并行流水线型二值化卷积神经网络阵列架构，能够提高图像识别计算并行度，降低权重存储需求，同时有效避免乘法计算，降低功耗，提高能效。

本发明的目的是通过以下技术方案实现的：

一种图像识别层间并行流水线型二值化卷积神经网络阵列架构，包括：依次设置的M1层、M2层、M3层、M4层及M5层五个计算层，并构成层间流水线，其中：