[发明专利]小通道下卷积层的硬件加速方法及电路

说明书

本发明公开一种小通道下卷积层的硬件加速方法及电路。该方法包括如下步骤：将输入特征图以及卷积核参数的数据进行排列转换并存储，排列转换为将同一层中前一列数据和后一列数据依次首尾相接形成一列数据；在存储的排列转换后的输入特征图以及对应的卷积核参数数据中依次提取运算所需的数据，进行卷积运算，获取单次的卷积结果；按照原始输入特征图每次卷积运算过程所涉及的数据来对应查找排列转换后的输入特征图相对应的数据卷积运算所获得的卷积结果，将所获得的卷积结果进行合并存储即为输出特征图的中间结果。本发明可有效的提高硬件单元子模块中的乘法器的利用率，并有效的提高存储器的存储效率节省存储空间。

技术领域

本发明涉及计算机技术领域，尤其涉及小通道下卷积层的硬件加速方法及电路。

背景技术

随着大数据时代的到来、大算力芯片的研发以及深度学习算法的优化，深度学习的应用领域得到了解放，深度学习的能力得到进一步释放，深度学习算法的研究得到了进一步的发展。新发展出的深度学习网络需要巨大的算力，其在实现具体应用时非常耗时，因此需要更加强大的芯片来对新出现的各种深度学习算法进行加速，以获得更高的性能。设计一款针对深度学习网络进行加速的芯片成为当下的研究热点。伴随着对大算力的需求并针对深度学习网络的算法特点，各种专用AI芯片以及GPU的实现方案得到了快速发展，其中典型代表为Google的TPU以及NVIDIA GPU中使用的TCORE。对于深度学习网络，卷积运算占据主导地位，如何使卷积运算得到加速成为研究的重点。

对于AI芯片以及GPU需要能对各种尺寸下的输入特征图和卷积核参数进行加速。但对与小尺寸输入特征图，特别是C方向通道数较小情况下的输入特征图，采用现有技术会造成硬件单元子模块中的乘法器利用率低下；同时也会造成存储器利用率低下，使得有限存储空间下存储的有效数据量少，会增加卷积层运算时间并增加相应功耗。各生产厂家研发的AI芯片以及GPU中的算术运算单元的利用率无法得到充分发挥。

发明内容

为了解决上述技术问题，本发明提出小通道下卷积层的硬件加速方法及电路，可以有效的提高硬件单元子模块中乘法器的利用率，并提高存储器的利用率，使得在有限存储空间下能够存储更多有效数据。通过提高硬件单元子模块中乘法器的利用率以及存储器的利用率，可以有效的减少卷积层运算时间并降低功耗。

为了达到上述目的，本发明的技术方案如下：

小通道下卷积层的硬件加速方法，包括如下步骤：

将输入特征图以及卷积核参数的数据进行排列转换并存储，所述排列转换为将同一层中前一列数据和后一列数据依次首尾相接形成一列数据；

在存储的排列转换后的输入特征图以及对应的卷积核参数数据中依次提取运算所需的数据；

基于每次提取的排列转换后的输入特征图以及对应的卷积核参数的数据进行卷积运算，获取单次的卷积结果；

按照原始输入特征图每次卷积运算过程所涉及的数据来对应查找排列转换后的输入特征图相对应的数据卷积运算所获得的卷积结果，将所述所获得的卷积结果进行合并存储即为输出特征图的中间结果。

优选地，将输入特征图或卷积核排列转换后所形成的每一列数据单独存储于一个地址内。

优选地，所述依次提取运算所需的数据，具体包括如下步骤：

从存储的输入特征图以及对应的卷积核参数的数据中按照从左至右，从上至下的方式依次提取运算所需的数据。

优选地，若存储的排列转换后的输入特征图中一列数据的数据量大于每次提取的运算所需的数据量时，则在每列数据上做移位操作依次提取，直至完每列数据中最后的一个数据为止。

基于上述内容，本发明还公开了小通道下卷积层的硬件加速电路，包括：转换模块、提取模块、运算模块和储存模块，其中，