[发明专利]一种卷积神经网络的数据读取方法及数据读取装置

说明书

本发明公开了一种卷积神经网络的数据读取方法及数据读取装置，该方法包括：计算单元从图像缓存器中一次读取第一矩阵中的第一子矩阵；计算单元从每个权重缓存器中每次读取一个第二矩阵中的第二子矩阵；第一矩阵为m*（m+2）*z的矩阵，第二矩阵为n*（n+1）*z的矩阵；第一子矩阵和第二子矩阵所占的总比特数均等于数据总线的位宽比特数K；计算单元根据读取出的第一矩阵和第二矩阵作卷积计算，得到输出图像。通过这种方式，第一矩阵和第二矩阵无需在每个通道上补零，相比较于现有技术中在每个通道上补充零后的图像矩阵和卷积权重，图像数据和权重数据各自的数量减少了一倍，从而使得FPGA的计算量和延迟时间也减少了一倍，进而提高了FPGA的卷积效率。

技术领域

本发明涉及现场可编程门阵列FPGA硬件加速技术领域，尤指一种卷积神经网络的数据读取方法及数据读取装置。

背景技术

随着人工智能（AI）的不断发展，它已经从早期的人工特征工程进化到现在可以从海量数据中学习，机器视觉、语音识别以及自然语言处理等领域都取得了重大突破。卷积神经网络（Convolutional Neural Network，CNN）在人工智能领域受到越来越多的青睐，它是深度学习技术中极具代表性的网络结构之一，尤其在图像处理领域取得了很大的成功。随着网络变得越来越大、越来越复杂，需要大量的计算资源来对其进行训练，因此人们将注意力转向现场可编程门阵列（Field Programmble Gate Array，FPGA）器件，FPGA不仅具有软件的可编程性和灵活性，同时又有专用集成电路（Application Specific IntegratedCircuit，ASIC）高吞吐和低延迟的特性，而且由于具有丰富的输入/输出（I/O）接口，FPGA还非常适合用作CNN硬件加速器。CNN硬件加速器提供更多更先进的特性，比如图像分类、物体识别和追踪、人脸和语音识别、自然语言处理等，将先进的人工智能网络应用到自动化生产、控制等场景中，提高相关行业的生产力为用户带来更好的服务。

目前，FPGA在实现卷积神经网络硬件加速器时，最基本的问题就是实现卷积计算，若要实现卷积计算，则需要获取图像数据和权重数据。然而，为了提高数据的读写效率，当每个通道上的图像数据的总位宽与数据总线的位宽不相同时，一般在每个通道上补相应的零以使补零后的每个通道上的图像数据与数据总线位宽相同。对于卷积权重的每个通道上的权重数据的总位宽与数据总线的位宽不相同时，也采取了相同的方法。

但是，由于在输入的图像和卷积权重的每个通道上补了相应个数的零，增加了图像数据和权重数据的各自的数据量，从而也增加了FPGA的计算量和延迟时间，进而使得FPGA的卷积效率低。

发明内容

本发明实施例提供一种卷积神经网络的数据读取方法及数据读取装置，用以提高FPGA的卷积效率。

第一方面，本发明实施例提供一种卷积神经网络的数据读取方法，应用于现场可编程门阵列FPGA，所述FPGA包括图像缓存器、至少一个权重缓存器和计算单元，所述方法包括：

所述图像缓存器中包括待处理图像的第一矩阵，所述第一矩阵为m*（m+2）*z的矩阵；所述至少一个权重缓存器的每个权重缓存器中存储至少一个卷积权重，每个卷积权重对应一个第二矩阵，所述第二矩阵为n*（n+1）*z的矩阵；其中，所述第一矩阵为m*（m+2）*z的矩阵用于表征所述第一矩阵的高度为m、宽度为m+2、深度为z；所述第二矩阵为n*（n+1）*z的矩阵用于表征所述第二矩阵的高度为n、宽度为n+1、深度为z；m、n和z均为大于等于1的整数；

所述计算单元从所述图像缓存器中一次读取所述第一矩阵中的第一子矩阵，所述第一子矩阵为P*1*z的矩阵；其中，P为K/q/z，K为数据总线的位宽比特数，q为第一矩阵中每个元素占用的位宽比特数；所述第一子矩阵所占的总比特数等于K；所述第一子矩阵为P*1*z的矩阵用于表征所述第一子矩阵的宽度为P、高度为1、深度为z；