[发明专利]一种适配深度学习硬件加速器的可重构激活函数硬件装置

权利要求书

1.一种适配深度学习硬件加速器的可重构激活函数硬件装置，其特征在于，包括函数类型判断单元、ReLU计算单元、简化函数计算单元、可变精度单元和优化函数计算单元；

所述函数类型判断单元根据输入的待计算数据x和待计算的激活函数类型，动态选择激活函数的计算路径；

所述ReLU计算单元根据待计算数据x的符号位判断输入的待计算数据所属的计算区间，并根据激活函数类型进行不同的计算操作，通过数据移位操作或直接数据赋值实现ReLU系列激活函数，所述ReLU系列激活函数包括ReLU函数，ReLU6函数，Leaky ReLU函数；

所述简化函数计算单元得到H-Sigmoid激活函数的计算结果，作为Sigmoid函数计算的初始近似值，同时，通过复用简化函数计算单元内的乘法器配合PReLU函数计算时相应的参数来实现PReLU函数。

2.根据权利要求1所述的一种适配深度学习硬件加速器的可重构激活函数硬件装置，其特征在于，所述可变精度单元对Sigmoid的倒数函数1+e^-x进行近似，得到Sigmoid倒数函数的近似值appro_sig_rec，同时，通过复用基于e指数实现的计算逻辑来得到Tanh函数的整式部分1-e^-2x的计算结果，提供Sigmoid的倒数函数和Tanh函数的整式部分的近似值。

3.根据权利要求2所述的一种适配深度学习硬件加速器的可重构激活函数硬件装置，其特征在于，所述优化函数计算单元将初始近似值与倒数函数近似值进行如下计算，得到Sigmoid函数优化后的近似值：

Sigmoid(x)＝2×H-Sigmoid(x)-H-Sigmoid(x)²×appro_sig_rec

所述优化函数计算单元包括1号乘法器、2号乘法器和3号乘法器；

其中appro_sig_rec为Sigmoid倒数函数的近似值，H-Sigmoid激活函数的计算结果记为中间结果A₁，基于上述公式，在优化函数计算单元的1号乘法器进行中间结果A₁与中间结果A₁的乘法，在2号乘法器进行中间结果A₁的平方值与Sigmoid倒数函数的近似值appro_sig_rec的乘法，再将2号乘法器得到结果与中间结果A₁通过移位操作得到的2×A₁结果进行减法操作，最终得到Sigmoid函数优化后的近似值；

通过复用优化函数计算单元内部的3号乘法器实现H-Swish函数和Tanh函数；通过将Sigmoid函数计算结果乘非线性函数中相应的整式部分来实现Tanh函数和Swish函数，其中Tanh函数的整式部分为1-e^-2x，Swish函数的整式部分为x。

4.根据权利要求3所述的一种适配深度学习硬件加速器的可重构激活函数硬件装置，其特征在于，所述简化函数计算单元内部包括4号乘法器，所述简化函数计算单元具体执行如下操作：

根据H-Sigmoid激活函数表达式和PReLU激活函数表达式，H-Sigmoid激活函数在待计算数据x输入范围为(-3,3)和PReLU激活函数在x输入范围为(-∞，0)时，都需要4号乘法器来实现函数计算，在简化函数计算单元内部使用4号乘法器来完成H-Sigmoid函数的操作和PReLUde的α·x操作，其中α是小于1的常数。