[发明专利]一种FPGA实现残差网络中激活函数的方法

说明书

本发明公开了一种FPGA实现残差网络中激活函数的方法，该方法包括：每次进入残差网络的一个新的卷积层时，从FGPA芯片的缓存DDR中读取激活函数所需的参数；将经过FGPA芯片的卷积模块处理后的数据，通过内存通道channel读入激活函数处理模块中；在激活函数处理模块中将数据依次经过代入批归一化函数、缩放函数和线性激活函数进行处理，将处理后的数据通过内存通道channel写回到缓存DDR中。该方法实现减少不同激活函数间的数据传输I/O损耗。

技术领域

本发明涉及深度学习加速技术领域，特别是涉及一种FPGA实现残差网络中激活函数的方法。

背景技术

目前，大数据技术的快速发展极大的推动了深度学习技术发展的进程，而FPGA则是加速深度学习的有效手段之一。在通常的由CPU实现的卷积神经网络结构中，不同种类的激活函数均处于单独的模块中，以实现搭建不同网络结构的复用与重载。涉及到FPGA实现残差网络中激活函数的使用，但在FPGA中各激活函数的模块没有可复用性，各模块之间数据通过内存通道(channel)进行通信，因此反复的读写芯片缓存(DDR)必然会带来输入与输出上的效率损耗，即不同激活函数间的数据传输I/O损耗较多。

因此如何减少不同激活函数间的数据传输I/O损耗是亟待解决的问题。

发明内容

本发明的目的是提供一种FPGA实现残差网络中激活函数的方法，以实现减少不同激活函数间的数据传输I/O损耗。

为解决上述技术问题，本发明提供一种FPGA实现残差网络中激活函数的方法，包括：

每次进入残差网络的一个新的卷积层时，从FGPA芯片的缓存DDR中读取激活函数所需的参数；

将经过FGPA芯片的卷积模块处理后的数据，通过内存通道channel读入激活函数处理模块中；

在激活函数处理模块中将数据依次经过代入批归一化函数、缩放函数和线性激活函数进行处理，将处理后的数据通过内存通道channel写回到缓存DDR中。

优选的，所述将经过FGPA芯片的卷积模块处理后的数据，通过内存通道channel读入激活函数处理模块中，包括：

将经过FGPA芯片的卷积模块处理后的数据，通过内存通道channel以一个节拍传入多个浮点数，读入激活函数处理模块中。

优选的，所述批归一化函数、缩放函数和线性激活函数均为由OpenCL语言描述的函数。

优选的，所述残差网络以每一个新的卷积层记数一层。

优选的，所述通过内存通道channel读入激活函数处理模块中之后，还包括：

将数据对应的纬度信息读入激活函数处理模块中。

优选的，所述一个节拍为一个时钟节拍。

优选的，所述浮点数的个数为8个。

本发明所提供的一种FPGA实现残差网络中激活函数的方法，每次进入残差网络的一个新的卷积层时，从FGPA芯片的缓存DDR中读取激活函数所需的参数；将经过FGPA芯片的卷积模块处理后的数据，通过内存通道channel读入激活函数处理模块中；在激活函数处理模块中将数据依次经过代入批归一化函数、缩放函数和线性激活函数进行处理，将处理后的数据通过内存通道channel写回到缓存DDR中。可见，将激活函数置于同一模块中，利用FPGA的异构并行性，使所有激活函数能够在一个时钟节拍中完成数据激活的操作，加速了数据处理效率。与通用的CPU实现方式相比，本发明采用OpenCL语言进行FPGA硬件比特流的生成，能够有效改善算法实现效率，将残差网络所需要的激活函数置于同一模块中，减少不同激活函数间的数据传输I/O损耗，使得可以映射生成高效的FPGA硬件电路结构，进而达到FPGA对激活函数的硬件加速效果。