[发明专利]一种基于脉动阵列硬件架构的深度学习卷积运算实现方法

说明书

本申请实施例属于深度学习技术领域，涉及一种基于脉动阵列硬件架构的深度学习卷积运算实现方法，方法包括：S1、所述控制器通过接口单元获取配置指令，并根据所述配置指令配置所述输入缓存和所述脉动阵列模块；S2、通过所述直接内存访问DMA将所述网络数据存储接口获取的帧图像数据传输到所述内部存储器；S3、逐行将存储于所述内部存储器中的帧图像数据读入到所述图像寄存器文件中，并通过广播的方式将一行图像数据输入到所述脉动阵列模块中，所述输入缓存根据控制器的配置将卷积核逐行输入所述脉动阵列模块中；S4、在所述脉动阵列模块中将一行帧图像数据与卷积核进行卷积运算，直到所述帧图像的最后一行，然后输出运算结果到所述输出缓存中。

技术领域

本发明涉及深度学习技术领域，尤其涉及一种基于脉动阵列硬件架构的深度学习卷积运算实现方法。

背景技术

当前，人工智能已经展现了其在多领域方面的独特优势，比如大数据、智能医疗、安防、先进辅助驾驶系统等。深度学习(Deep Learning)在解决高级抽象认知问题上有着显著的成果，是人工智能算法中最为有效也是使用最为广泛的算法，为“谷歌大脑”、“百度大脑”等采用，并且进入了科大讯飞语音识别、谷歌翻译、Facebook人脸识别等领域。谷歌、微软、Facebook等高端互联网公司的研究实践表明，深度学习能够在图像感知等方面达到甚至超过人类的水平。而卷积神经网络(CNN)是深度学习中最为有效、最具代表性的技术，是当前各大学和公司研究进行语音分析和图像识别研究的热点，它对图像、声音进行有效学习和识别分析，是当前和未来汽车自动驾驶、人脸识别、疾病特征判断、声音识别等信息处理的关键核心技术。

深度学习中卷积运算占据了大部分操作和运算时间，因此针对卷积层的优化是硬件设计的重点。在卷积层中，每个通道的输入特征图将与多个卷积核进行二维卷积运算。在二维卷积运算中，每个像素都会被复用数次。因此，数据重复访问是功耗主要来源之一。同时，对于硬件实现来说，位于高存储层次的数据复用将会带来较大的带宽占用，增大功耗。

发明内容

本申请实施例的目的在于提出一种基于脉动阵列硬件架构的深度学习卷积运算实现方法，以降低深度学习二维卷积运算的功耗。

为了解决上述技术问题，本申请实施例提供一种基于脉动阵列硬件架构的深度学习卷积运算实现方法，采用了如下所述的技术方案：

所述基于脉动阵列硬件架构的深度学习卷积运算实现方法，所述脉动阵列硬件架构包括网络数据存储接口、内部存储器、直接内存访问DMA、图像寄存器文件、输入缓存、接口单元、控制器、输出缓存以及脉动阵列模块，所述方法包括：

S1、所述控制器通过接口单元获取配置指令，并根据所述配置指令配置所述输入缓存和所述脉动阵列模块；

S2、通过所述直接内存访问DMA将所述网络数据存储接口获取的帧图像数据传输到所述内部存储器；

S3、逐行将存储于所述内部存储器中的帧图像数据读入到所述图像寄存器文件中，并通过广播的方式将一行图像数据输入到所述脉动阵列模块中，所述输入缓存根据控制器的配置将卷积核逐行输入所述脉动阵列模块中；

S4、在所述脉动阵列模块中将一行帧图像数据与卷积核进行卷积运算，直到所述帧图像的最后一行，然后输出运算结果到所述输出缓存中。

进一步的，所述脉动阵列模块至少包括一行处理单元，所述一行处理单元至少包括一个处理元素，所述处理元素包括卷积SRAM、卷积寄存器文件以及ALU运算单元。

进一步的，所述输入缓存根据控制器的配置将卷积核逐行输入所述脉动阵列模块中包括：

所述输入缓存根据卷积核尺寸配置指令将相应大小的卷积核数据输入所述卷积SRAM；

卷积SRAM逐行将所述卷积核输入到所述卷积寄存器文件中。

进一步的，所述ALU运算单元用于将所述帧图像数据和所述卷积核进行卷积运算。