[发明专利]面向权重二值型神经网络的预计算逐列卷积计算单元

说明书

本发明公开一种面向权重二值型神经网络的预计算逐列卷积计算单元，属于基本电子电路的技术领域，包括：(1)门控单元、(2)预计算单元、(3)查找单元和(4)自累加单元。门控单元判断特征值向量是否为全零，若为全零则将预计算单元和自累加单元中的寄存器时钟门控，预计算单元通过小型加法树电路进行预计算，得到特征值列向量与四种不同权重列向量的点积，查找单元通过选择器电路选择与实际权重列向量相对应的点积送至自累加单元，自累加单元根据特征值列向量的索引和权重列向量的索引选择对应的累加寄存器数据与其进行累加。相比于传统基于加法树或自累加器型的卷积计算单元电路，该种卷积计算单元电路能够显著降低计算量，提升计算效率，节省功耗。

技术领域

本发明涉及一种面向权重二值型神经网络的预计算逐列卷积计算单元，利用数字逻辑实现权重二值型神经网络的卷积计算，属于基本电子电路的技术领域。

背景技术

近年，深度学习在图片识别、语言识别、自然语言处理、人工智能等领域展现出了独特优势，专用神经网络芯片的研究成为时下一个研究热点。图1所示为卷积计算示意图，其中H、W、C分别表示输入特征图的高、宽和通道数，R、S分别表示卷积核的高和宽，E、F、M分别表示输出特征图高、宽和通道数。每个卷积核与输入特征图进行卷积得到一张输出特征图，M个卷积核分别与输入特征图进行卷积就得到具有M个通道的输出特征图。卷积计算的具体过程可以归纳成式(1)：

其中O、I、W分别表示输出特征图张量、输入特征图张量和卷积核张量，U表示卷积步长，N表示batch大小。从式(1)可以看到，卷积计算的主要操作为大量的乘累加运算，它们是神经网络加速芯片的主要功耗来源之一，如何降低卷积计算过程中乘累加操作的计算功耗以及中间数据存取的访存功耗是将神经网络算法部署到物联网等嵌入式设备上必须解决的两大问题。

近年来的研究主要从以下几个方面进行硬件优化，降低神经网络加速芯片的功耗。首先是低精度网络的运用，权重二值型网络将权重限定为“+1”和“-1”，使得卷积计算避免了功耗开销较大的乘法操作，只涉及加法操作。更极端的一种网络将中间数据也限定为“+1”和“-1”，进一步将卷积计算简化为同或和位计数操作，这样的网络被称为二值化网络。其次是充分利用卷积计算过程中的数据复用机会，减少访存功耗。对于大多数嵌入式和移动终端应用，受延迟和帧率要求，每次只对一个样本进行推理计算，在这样的条件下，卷积计算过程主要涉及两种数据复用机会：卷积复用和特征图复用。图2所示为卷积复用，在计算相邻输出特征值时(如第1个输出特征值和第2个输出特征值)，存在输入特征图重叠的区域(图上用阴影表示)，此为输入特征值复用，另外，由于是同一个卷积核在输入特征图上滑动，卷积核自然也是复用的，所以卷积复用包含了输入特征值复用和卷积核复用。图3所示为特征图复用，不同的卷积核与同一特征图进行卷积得到输出特征图的不同通道。其他硬件优化方法包括稀疏存储和计算、结合神经网络容错特性的近似计算、存算一体化技术等等。对于权重二值型网络，由于权重为单比特数据，而计算过程中的特征值数据为多比特数据，因此要优先利用卷积复用中的特征值复用和多卷积核并行计算提供的特征图复用机会，它们比卷积核复用的收益更大。

另外，因为权重二值型网络中的权重只有“+1”和“-1”这两种取值，这导致其卷积计算存在相当大的冗余性。如图4所示，特征值向量[D3,D13,D23]与权重向量[+1,+1,-1]的卷积(或称为“点乘”)会重复很多次，这些重复计算的根本来源是：长度为3的权重向量的组合情况最多只有8种([-1,-1,-1],[-1,-1,+1],[-1,+1,-1],[-1,+1,+1],[+1,-1,-1],[+1,-1,+1],[+1,+1,-1],[+1,+1,+1])，而卷积核中权重向量构成的样本空间要远远大于8。这就导致：不同卷积核中会存在相同的列向量(如图4示例中的卷积核1、卷积核2和卷积核64均具有相同的向量[+1,+1,-1])，同一卷积核中也会存在不同列的向量相同的情况(如卷积核64的第1列和第2列具有相同的向量[+1,+1,-1])。