[发明专利]一种分组卷积中通道混洗操作的实现装置及方法

说明书

本发明公开了一种分组卷积中通道混洗操作的实现装置及方法。该实现装置包括顶层控制单元、Reg数组和通道混洗模块，顶层控制单元用于将分组卷积结果存入Reg数组，并且控制通道混洗模块的数据处理过程；Reg数组用于存储分组卷积得到的各通道数据并向通道混洗模块输出数据；通道混洗模块用于对Reg数组传来的数据按混洗规则进行通道混洗处理并输出数据。在顶层控制单元的控制下完成对分组卷积结果的混洗操作，可以加快数据处理的速度、提高FPGA片上资源的利用率、降低系统的瞬时负载，本发明装置结构简单、可靠、方便实现。

技术领域

本发明公开了一种分组卷积中通道混洗操作的实现装置及方法，属于人工智能数据处理技术领域。

背景技术

卷积神经网络是目前深度学习技术领域中非常具有代表性的神经网络之一，在图像分析和处理领域取得了众多突破性的进展。在学术界常用的标准图像标注集ImageNet上，基于卷积神经网络取得了很多成就，包括图像特征提取分类、场景识别等。2012年，卷积神经网络AlexNet在ImageNet的训练集上取得了图像分类的冠军，使得卷积神经网络成为计算机视觉中的重点研究对象，并且不断深入。在AlexNet网络之后，不断有新的卷积神经网络提出，包括牛津大学的VGG网络、微软的ResNet网络、谷歌的GoogLeNet网络等，这些网络的提出使得卷积神经网络逐步开始走向商业化应用。

分组卷积(Group Convolution)，最早见于AlexNet网络，当时由于GPU显存受限，Group Convolution被用来切分网络，使其在2个GPU上并行运行。如今，随着卷积神经网络层数和参数的增加，分组卷积在越来越多的网络中得到使用，最主要的原因是分组卷积相比常规卷积可以减少大量的参数，同时对网络的性能影响却很小。

2017年，旷世提出了ShuffleNet V1(Zhang X,Zhou X,Lin M,et al.ShuffleNet:An Extremely Efficient Convolutional Neural Network for Mobile Devices[J].2017)，该网络的两个主要创新点是逐点卷积(Pointwise Group Convolution)和通道混洗(Channel Shuffle)。逐点卷积是用来减少1*1卷积的计算复杂度，但是这样会带来副作用，通道间的信息没有得到很好的交流融合。所以，继而提出通道混洗来帮助信息在不同特征通道中的流动。现有实现Channel Shuffle的方法是将分组卷积的结果先存储到BRAM中，然后再根据shuffle规则，从BRAM中读取相应数据进行Channel Shuffle处理，最后存入新的BRAM中，这样一来需要使用两份BRAM来实现shuffle操作，如果FPGA片上BRAM较小，这种Channel Shuffle的方式会给硬件设计带来极大限制。

发明内容

本发明的目的在于针对近来深度学习中使用较多的分组卷积，提供一种分组卷积中通道混洗操作的实现装置及方法，通过相关设计，可以加快数据处理的速度、提高FPGA片上资源的利用率、降低系统的瞬时负载。

本发明装置采用的技术方案为：

一种分组卷积中通道混洗操作的实现装置，包括顶层控制单元、Reg数组和通道混洗模块；顶层控制单元，用于将分组卷积结果存入Reg数组，并且控制通道混洗模块的数据处理过程；Reg数组，用于存储分组卷积得到的各通道数据并向通道混洗模块输出数据；通道混洗模块，用于对Reg数组传来的数据按混洗规则进行通道混洗处理并输出数据。

进一步地，所述顶层控制单元根据分组卷积结果中特征点的通道信息将数据存入Reg数组中相应的位置。

进一步地，所述顶层控制单元还用于检测同一特征点所有通道数据是否全部存入Reg数组。

进一步地，所述Reg数组采用DRAM存储器。

本发明上述装置的实现方法，包括如下步骤：