[发明专利]一种适配深度学习硬件加速器的可重构激活函数硬件装置

说明书

本发明提供了一种适配深度学习硬件加速器的可重构激活函数硬件装置，包括函数类型判断单元、ReLU计算单元、简化函数计算单元、可变精度单元和优化函数计算单元。该发明充分利用不同非线性激活函数计算表达式之间的相关性，可以实现对ReLU函数、ReLU6函数、PReLU函数、Leaky ReLU函数、Sigmoid函数、Tanh函数、Swish函数、H‑Sigmoid函数和H‑Swish函数九种神经网络常用激活函数的近似计算，从而适配多功能的深度学习硬件加速器，在计算资源和近似精度之间取得了很好的平衡，具有计算效率高、灵活、可重构等特点。

技术领域

本发明涉及一种适配深度学习硬件加速器的可重构激活函数硬件装置。

背景技术

非线性激活函数(Nonlinear Activation Function,NAF)作为深度神经网络(Deep Neural Network,DNN)的重要组成部分，由于其复杂的算术运算，给DNN的高效硬件实现带来了关键挑战。本发明所解决的问题是，如何为多种激活函数设计灵活可重构的硬件加速架构，能够适配多功能DNN加速器，并在FPGA(Field Programmable Gate Array,现场可编程逻辑门阵列)或者ASIC(Application Specific Integrated Circuit,特定用途集成电路)平台上高效实现。

DNN加速器近年来已成为学术界和工业界的研究热点，而非线性激活函数是深度神经网络结构的重要组成部分。目前，新兴的深度学习(Deep Learning,DL)技术，如神经网络架构搜索(Neural Architecture Search,NAS)，被提出为各种实际深度学习任务寻找最优的DNN结构。为实现DNN设计的高精度，新兴的计算操作中涉及了各种NAF，如压缩-激发(Squeeze-and-Excitation,SE)块中的Swish函数。预定义NAS搜索空间中的可选激活层也从单一的ReLU函数变为各种非线性函数，包括Sigmoid函数和Tanh函数。此外，新兴的DNN结构往往包含多种非线性激活函数，对通用DNN加速器提出了很高的要求。然而，在硬件设计中，直接用粗略简化的函数替换非线性函数或忽略这些复杂的非线性函数会造成不可接受的精度损失。因此，对于深度学习系统来说，一个可以转换成不同非线性激活函数的通用计算模块是迫切需要的。

非线性激活函数广泛应用于计算视觉任务领域，根据不同函数数学表示的相关性，常见的NAF大致可分为两类：一类是ReLU系列，另一类是Sigmoid、Swish、Tanh系列，如图1所示。为了方便硬件实现，在轻量级卷积神经网络(Convolutional Neural Network,CNN)中，将Sigmoid函数和Swish函数粗略简化为H-Sigmoid函数和H-Swish函数，但需要对网络进行重训练或者微调才能保证网络的精度不受影响。

现有技术方案：

为了高效地实现非线性激活函数，近似方案可以分为以下几种：

(1)基于查找表(Look-Up-Table,LUT)的方法使用LUT或存储单元来存储NAF的采样值。然而，采用这种方法来近似更多的NAF或获得更高的近似精度会导致存储资源的显著增加。

(2)分段线性(Piecewise Linear,PWL)逼近法将输入范围划分为若干段，并使用一个线性函数拟合每段的曲线。提高逼近精度可以通过增加PWL线段的数量或采用PWL线段的非均匀分布来实现，但这也增加了曲线分割和线性拟合的难度。