[发明专利]一种面向低位宽卷积神经网络的可重构激活量化池化系统

说明书

本发明的面向低位宽卷积神经网络的可重构激活量化池化系统包括:若干个可重构激活量化池化处理单元，用于执行激活、量化、池化操作，并且执行工作模式激活‑量化工作模式或激活‑量化‑池化工作模式的可重构操作；存储单元控制器，用于控制不同配置下可重构激活量化池化单元和存储单元的数据传输；存储单元，用于暂存池化操作中所需的卷积层结果数据。软件优化设计通过将低位宽卷积神经网络的激活、量化等若干步骤简化为一个步骤，可减少冗余计算且不改变原始功能。有益效果：通过将激活、量化、池化三个步骤以可重构的方式映射在同一硬件单元上，减少了硬件资源面积；采用软硬件协同优化的方法，具有面积小、功耗低、灵活性高的特点。

技术领域

本发明属于人工智能算法硬件加速领域，尤其涉及一种面向低位宽卷积神经网络的可重构激活量化池化系统。

背景技术

低位宽卷积神经网络一般表示为4bit及以下的量化卷积神经网络，其不同于传统的卷积神经网络，它的权重和图像输入数据可以仅用几个bit来表示，例如二值化网络、三值化网络以及其他低位宽量化神经网络。二值化网络的权重和图像输入数据可只用0或1表示；三值化网络的权重只用0或1表示，图像输入数据表征为-1、0或1；在许多其他的低位宽量化神经网络中，常用某种比特组合方式来表达某个数，例如2bit的“01”表示数值0.5。

在低位宽卷积神经网络中，除了传统网络中包含的卷积层、激活层、池化层，还会专门设计一个量化操作，将生成的图像输出数据再次量化到原来设定的位宽。

近些年来针对这种低位宽卷积神经网络的硬件设计越来越多，卷积层通常的处理流程为顺序执行以下操作：卷积、批标准化、激活、量化和池化，有的卷积层没有池化操作；全连接层通常处理流程为顺序执行以下操作：全连接、批标准化、激活和量化。但是这样的串行操作会降低处理效率，带来额外的硬件开销，不能很好地满足实际应用的需求。

发明内容

本发明的目的在于克服以上现有技术之不足，提供一种有效地提高激活、量化、池化操作的灵活性，降低功耗，减少硬件开销的面向低位宽卷积神经网络的可重构激活量化池化系统，具体由以下技术方案实现：

所述面向低位宽卷积神经网络的可重构激活量化池化系统，接收卷积层结果数据，该系统包括:

若干个可重构激活量化池化处理单元，用于执行激活、量化、池化操作，并且执行激活-量化工作模式或激活-量化-池化工作模式的可重构操作；

存储单元控制器，用于控制不同配置下可重构激活量化池化单元和存储单元的数据传输；

存储单元，用于暂存池化操作中所需的卷积层结果数据。

所述面向低位宽卷积神经网络的可重构激活量化池化系统的进一步设计在于，可重构激活量化池化处理单元在激活-量化的工作模式下数据从卷积处理单元传输到可重构激活量化池化处理单元，经过处理后，直接输出结果数据；在激活-量化-池化的工作模式下接收所述卷积层结果数据，先存入到存储单元，在存储单元控制器的控制下，传入可重构激活量化池化处理单元处理，处理结果依然存回存储单元。

所述面向低位宽卷积神经网络的可重构激活量化池化系统的进一步设计在于，所述可重构激活量化池化处理单元中的激活函数如式(1)，

x_o＝min(abs(x_i)，1) (1)

其中，x_i代表卷积处理完后的数据、x_o表示经过激活后的激活值。

可重构激活量化池化处理单元中的量化函数如式(2)，

其中，k表示量化后的比特位宽，该处x_i表示激活值，x_o表示量化后的量化值。且对应的池化核大小为2x2，如式(3)：