[发明专利]卷积神经网络的运算装置及方法

说明书

一种卷积神经网络的运算方法，包括：对多个输入数据进行加法运算以输出累加数据；对累加数据进行位元移位运算以输出移位数据；以及对移位数据进行加权运算以输出加权数据，其中加权运算的因子依据输入数据的数量、位元移位运算中向右移位的位元数量以及卷积神经网络的后续层的缩放权值而定。

技术领域

本发明涉及一种卷积神经网络的运算方法，特别是涉及一种执行平均池化运算的装置及方法。

背景技术

卷积神经网络(Convolutional Neural Network，CNN)是一种前馈型神经网络，其通常包含多组的卷积层(convolution layer)及池化层(pooling layer)。池化层可针对输入数据某个区域上的特定特征进行最大池化(max pooling)或平均池化(averagepooling)运算，以减小参数量及神经网络中的运算。以平均池化运算而言，传统的方式是先进行加法运算，再将加总结果进行除法运算。然而，除法运算需耗费较多的处理器效能，故容易造成硬件资源的负担过重。此外，当进行多个数据的累加运算时，也容易发生溢位(overflow)的情形。

因此，如何提供一种池化运算方式，可使用较少的处理器效能执行平均池化运算，实为当前重要的课题之一。

发明内容

有鉴于此，本发明的一个目的是提供一种卷积运算装置及池化运算方法，可避免硬件资源的负担过重，以增进池化运算的效能。

一种卷积神经网络的运算方法，包括：对多个输入数据进行加法运算以输出累加数据；对累加数据进行位元移位运算以输出移位数据；以及对移位数据进行加权运算以输出加权数据，其中加权运算的因子依据输入数据的数量、位元移位运算中向右移位的位元数量以及卷积神经网络的后续层的缩放权值而定。

在一个实施例中，加权运算的因子随缩放权值以及位元移位运算中向右移位的位元数量呈正比，加权运算的因子随输入数据的数量呈反比，加权数据等于移位数据乘以因子。

在一个实施例中，位元移位运算中向右移位的位元数量依据池化窗的规模而定，输入数据的数量依据池化窗的规模而定。

在一个实施例中，后续层为卷积神经网络的次一层卷积层，缩放权值为次一层卷积层的滤波器系数，加法运算以及位元移位运算是卷积神经网络的池化层中的运算。

在一个实施例中，池化层中的除法运算整合在次一层卷积层的乘法运算中进行。

一种卷积神经网络的运算方法，包括：在池化层中对多个输入数据进行加法运算以输出累加数据；以及在后续层中对累加数据进行加权运算以输出加权数据，其中加权运算的因子依据输入数据的数量以及后续层的缩放权值而定，加权数据等于累加数据乘以因子。

在一个实施例中，后续层为次一层卷积层，缩放权值为滤波器系数，加权运算为卷积运算，加权运算的因子等于滤波器系数除以输入数据的数量。

在一个实施例中，输入数据的数量依据池化窗的规模而定。

一种卷积神经网络的运算方法包括：将缩放权值与原始滤波器系数相乘以产生加权后滤波器系数；以及在卷积层对输入数据以及加权后滤波器系数进行卷积运算。

在一个实施例中，运算方法还包括：对输入数据进行位元移位运算；以及将位元移位运算后的输入数据输入至该卷积层，其中，缩放权值依据原始缩放权值以及位元移位运算中向右移位的位元数量而定。

一种卷积神经网络的运算装置，能够进行前述的方法。

承上所述，在本发明的运算装置及运算方法中，以两阶段进行平均池化运算，池化单元仅进行加法运算，并搭配位元移位运算，以避免累加过程所造成的数据溢位，再对池化单元的输出结果进行加权运算，而得到最终的平均结果。由于池化单元并未做除法运算，故可避免处理器耗费较多的效能，进而达成提升池化运算的效能的功效。