[发明专利]一种针对卷积神经网络的非零探测器及其方法

说明书

本发明一种针对卷积神经网络的非零探测器及其方法。该非零探测器包括顶层控制单元，用于将输入的激励与权重数据存入本地缓存模块，并控制激励与权重探零模块和位与及寻址模块的操作；本地缓存模块，用于存放卷积神经网络的激励与权重数据；激励与权重探零模块，用于根据本地缓存模块的激励与权重数据进行非零筛选，并将得到的比特图返回本地缓存模块；位与及寻址模块，用于将激励比特图向量和权重比特图向量按位与，得到对应位置上的权重和激励值都非零的地址，并输出给本地缓存模块。本发明的非零探测器在不额外占用太多存储与运算资源的情况下，有效地提高了卷积神经网络的计算效率，缩小了卷积神经网络计算量。

技术领域

本发明属于数字图像分类领域，尤其涉及一种针对卷积神经网络的非零探测器及其方法。

背景技术

卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，被广泛运用于计算机视觉等领域。目前卷积神经网络在图像分类领域具有非常好的效果，拥有大量成熟的训练方法和工具，还有经过大量验证的经典卷积神经网络模型，如lenet-5、alexnet、vgg-16等。

卷积神经网络中包含了大量的卷积运算，并且卷积层的层数随着分类效果的不断提升而逐渐加深，卷积核的数目与通道数也逐步增多。此外，并不止步于分类数目较少的数据集，输入激励的尺寸也跟着数据集变得越来越大。这些因素都大大增加了卷积层中的卷积运算量，需要占用大量的计算资源。

在卷积神经网络中，由于所选激励函数的问题，激励与权重会存在大量的“0”。当这些大量的“0”参与到卷积神经网络中的卷积运算中会造成相当一部分计算无效化，使得一些计算与存储单元进行无意义的卷积运算，从而降低了卷积神经网络的性能，增加完成训练卷积神经网络的时间量。

因此，随着卷积神经网络算法的不断应用，追求更高分类效果而造成数据计算量大幅增加的同时，避免大量的“0”参与卷积计算造成的计算冗余，使大部分的计算单元进行有效的卷积运算是目前降低卷积神经网络计算量的一个有效的办法。

发明内容

为了解决上述问题，本发明基于最大化利用运算单元的思路，提供了一种针对卷积神经网络的非零探测器及其方法。

本发明的非零探测器采用的技术方案如下：

一种针对卷积神经网络的非零探测器，包括：

顶层控制单元，用于将输入的激励与权重数据存入本地缓存模块，并控制激励与权重探零模块和位与及寻址模块的操作；

本地缓存模块，用于存放卷积神经网络的激励与权重数据，包括激励数据、激励比特图数据、权重数据和权重比特图数据；

激励与权重探零模块，用于根据本地缓存模块的激励与权重数据进行非零筛选，并将得到的比特图返回本地缓存模块；

位与及寻址模块，用于将激励比特图向量和权重比特图向量按位与，得到对应位置上的权重和激励值都非零的地址，并输出给本地缓存模块。

进一步地，所述激励与权重探零模块包括：检测单元，用于检测由本地缓存模块传输来的激励与权重数据是否完全存入；筛选单元，用于对激励与权重数据进行非零筛选，并将生成的激励与权重的比特图送入本地缓存模块。

本发明利用上述一种针对卷积神经网络的非零探测器的探测方法，包括如下步骤：

(1)将输入的权重与激励数据通过顶层控制单元缓存在本地缓存模块，再由本地缓存模块传输至激励与权重探零模块；

(2)当激励与权重探零模块检测到所有数据完全传输后，进行数据筛选，生成激励与权重的比特图，并将生成的比特图返回给本地缓存模块；

(3)本地缓存模块将所述比特图传输至位与及寻址模块，当激励与权重探零模块检测到所有数据完全传输后，位与及寻址模块开始工作，计算出非零权重与激励数据的地址并返回至本地缓存模块；