[发明专利]深度神经网络硬件加速的数据输入装置与方法

说明书

本发明提供了一种深度神经网络硬件加速的数据输入装置，包括PE阵列组、三重输入缓冲、权重缓冲、输出缓冲和控制器；三重输入缓冲与PE阵列组一一对应的相连，且PE阵列组和输出缓冲一一对应的相连；每个三重输入缓冲通过总线与输入特征图存储区相连；控制器分别与输入特征图存储区以及每个三重输入缓冲相连；权重缓冲通过总线与权重存储区相连，且权重缓冲与每个PE阵列组相连；每个输出缓冲通过总线与输出特征图存储区相连。本发明还提供一种利用上述装置进行的深度神经网络硬件加速的数据输入方法，通过对三重输入缓冲的设计，实现数据传输时时延隐藏的目的的同时使数据重叠的部分可以直接复用，提高数据的复用率。

技术领域

本发明涉及神经网络算法的硬件加速实现设计领域，具体为深度神经网络硬件加速的数据输入装置与方法。

背景技术

深度学习是机器学习的一个分支，相比于传统机器学习，深度学习可以从数据中学习更加复杂的特征表达，使得权重学习更加有效。深度学习目前推广到了机器学习的各个领域，在计算机视觉任务(如目标分类和识别、自动驾驶和手写识别)、大数据分析、自动语音识别等应用都接近了人类判别的性能。而深度神经网络具有更多的网络层数和参数个数，能够提取更加丰富的数据特征，从而使得机器学习获取更好的学习效果，卷积神经网络则是其中一种被广泛应用的结构。

卷积神经网络的基本结构由卷积层、池化层、非线性层以及全连接层组成，其中核心层级结构是卷积层，其最大的特点就是局部感知和权值共享。利用层间局部空间相关性将相邻每一层的神经元节点只与和它相近的上层神经元节点连接，即局部感知。权值共享则是在卷积神经网络中，卷积层的每一个卷积滤波器重复的作用于整个感受野中，对输入图像进行卷积，卷积结果构成了输入图像的特征图，提取出图像的局部特征。

卷积神经网络兼具高计算密集与访存密集的特点，而传统的通用计算平台CPU无法提供足够的计算算力，难以达到应用对实时性的要求。为解决上述问题，很多研究针对神经网络的特性，设计了相应的加速器，硬件平台包括FPGA(可编程逻辑阵列)、ASIC(专用集成电路)等。已有的神经网络加速器多采用二维空间结构，通过数据局部性和网络稀疏性来达到更高的能效，但未发掘片外存储到片上缓冲的数据复用。

发明内容

本发明要解决的技术问题是提供一种用于深度神经网络硬件加速的数据传输装置，以及利用该数据传输装置进行的数据传输方法，提高数据复用率，减小对带宽的需求，高效供给数据。

为解决上述技术问题，本发明提出一种深度神经网络硬件加速的数据输入装置，数据输入装置与外部存储相连；所述外部存储中存放用于计算的输入特征图存储区、权重存储区以及输出特征图存储区；

所述数据输入装置包括PE阵列组、三重输入缓冲、权重缓冲、输出缓冲和控制器；

所述PE阵列组、三重输入缓冲和输出缓冲的数量均至少为1；

所述三重输入缓冲与PE阵列组一一对应的相连，且PE阵列组和输出缓冲一一对应的相连；

每个三重输入缓冲通过总线与输入特征图存储区相连；

所述控制器分别与输入特征图存储区以及每个三重输入缓冲相连；

所述权重缓冲通过总线与权重存储区相连，且权重缓冲与每个PE阵列组相连；

每个输出缓冲通过总线与输出特征图存储区相连。

作为本发明深度神经网络硬件加速的数据输入装置的改进：

所述PE阵列组包括自适应移位取数单元Ⅰ、自适应移位取数单元Ⅱ、PE阵列Ⅰ、PE阵列Ⅱ以及累加单元；

所述自适应移位取数单元Ⅰ和自适应移位取数单元Ⅱ均与三重输入缓冲相连；

所述PE阵列Ⅰ分别与自适应移位取数单元Ⅰ、权重缓冲和累加单元相连；