[发明专利]一种基于SOC的数据复用卷积神经网络加速器

说明书

本发明提供了一种基于SOC的数据复用卷积神经网络加速器，本方法提出对卷积神经网络的图像输入、权重参数以及偏置参数等输入数据进行分组，将大量的输入数据划分为可复用的块数据，并通过控制状态机实现复用数据块的读取。卷积神经网络参数量大、所需计算能力强，因此卷积神经网络加速器需要提供很大的数据带宽以及计算能力。本发明对大负载进行了可复用切分，并通过控制单元以及地址产生单元实现数据的复用，减小了卷积神经网络运算的延迟以及所需带宽，提高了运算效率。

技术领域

本发明涉及一种基于SOC的数据复用卷积神经网络加速器，特别涉及嵌入式设备对卷积神经网络，属于嵌入式应用领域。

背景技术

随着卷积神经网络CNN(Convolutional Neural Network)的不断发展与优化，其在模式识别领域得到了广泛应用，包括图像识别、目标识别，图像分割，目标跟踪等领域，并且取得了显著的效果，展现了卷积神经网络在模式识别算法中的主导地位。

然而深度卷积神经网络十分耗费计算资源和存储资源，无法直接应用在嵌入式端。用于图像识别的卷积神经网络AlexNet，卷积和全连接操作一共包括1.45G个操作，参数量为58M，如果每个参数占用4个字节，则模型参数需要232M个字节，这对于片上存储是十分庞大的，如果将这些参数存储在外存中，会显著降低处理速率，而一幅图像的处理就需要1.5G个操作，这还仅包括卷积和全连接的操作，不包括池化和正则化操作。虽然卷积神经网络参数量大，但其运算比较规律且大量数据需要重复使用，因此需要通过数据复用提高卷积神经网络运算效率，降低整个系统所需能耗。

发明内容

本发明的技术解决的问题是：克服了现有卷积神经网络运算效率低和大量访问外存导致的时延和功耗浪费的不足之处，提供了一种基于SOC的数据复用卷积神经网络加速器，充分利用输入数据、卷积核数据的重复利用特点，提高了嵌入式设备对卷积神经网络的运算性能。

本发明的技术解决方案是：一种基于SOC的数据复用卷积神经网络加速器，该加速器包括图像地址生成器、图像缓存区、移位逻辑、权重地址生成器、权重缓存区、偏置地址生成器、偏置缓存区、控制单元和计算单元阵列，控制单元接收外部输入的启动控制信号，之后，根据预设时序，控制偏置地址生成器、权重地址生成器和图像地址生成器产生偏置写控制信号、权重写控制信号和图像写控制信号，将偏置、权重和图像数据分块存入相应的缓冲区，之后，再控制偏置地址生成器、权重地址生成器和图像地址生成器产生相应缓冲区的读写地址，权重缓存区、偏置缓存区分别将相应地址内的权重、偏置数据输出至计算单元阵列；图像缓冲区将相应地址内的图像数据输出至移位逻辑，移位逻辑根据控制单元发送的移位控制信号和层运算序号，将图像数据进行移位处理之后输出至计算单元阵列，计算单元阵列，根据权重数据、偏置数据、图像数据，采用分块运算的方法，对图像数据进行多层卷积、池化以及多层全连接运算。

所述控制单元包括主控制模块、权重控制状态机，偏置控制状态机、图像控制状态机和写控制状态机，其中：

主控制模块主控制模块，接收外部输入的启动控制信号，之后，根据预设的卷积神经网络加速器各层卷积运算的时间和全连接运算时间，按照预设时序，将卷积、池化和全连接运算过程都分成多个层运算，每个层运算分为多个块运算，在层运算开始之前，向写控制状态机发送写控制启动指令，当前层运算所需数据全部写入相应的缓冲区后，向写控制状态机发出写控制停止信号；在层运算开始时刻，向权重读控制状态机、偏置读控制状态机、图像读控制状态机发送权重读控制启动信号，向移位逻辑发送移位控制信号和层运算序号；在层运算结束时刻和块运算结束时刻，向权重读控制状态机、偏置读控制状态机、图像读控制状态机，发送层运算结束标志和块运算结束标志信号，向移位逻辑发送的移位控制信号和层运算序号；