[发明专利]用于电子装置的激活函数功能块

权利要求书

1.一种电子装置，其包括：

实现指定激活函数的激活函数功能块，所述激活函数功能块被配置为：

接收输入，所述输入包括表示数值的多个位；

从多个范围确定所述输入落入的范围，每个范围包括所述输入的可能数值的单独部分；并且

生成与所述范围相关联的线性函数的结果。

2.如权利要求1所述的电子装置，其中所述激活函数功能块还被配置为仅基于来自所述输入的所述位的子集来确定所述范围，所述位的所述子集包括以下中的至少一者：

所述输入的符号位；以及

所述输入的整数部分中的一些或全部。

3.如权利要求1所述的电子装置，其中生成所述结果包括使用与所述多个范围中的每个范围相关联的单独线性函数以近似在所述范围内的所述指定激活函数的结果。

4.如权利要求3所述的电子装置，其中所述指定激活函数是修正线性单元函数，并且其中：

第一线性函数与包括负值的输入值的第一范围相关联，所述第一线性函数对所述第一范围中的输入值生成为0的常数结果；并且

第二线性函数与包括0和正值的输入值的第二范围相关联，所述第二线性函数生成等于所述第二范围中的对应输入值的结果。

5.如权利要求3所述的电子装置，其中所述指定激活函数是泄露修正线性单元函数，并且其中：

第一线性函数与包括负值的输入值的第一范围相关联，所述第一线性函数生成等于第二范围中移位给定量的对应输入值的结果；并且

第二线性函数与包括0和正值的输入值的所述第二范围相关联，所述第二线性函数生成等于所述第二范围中的对应输入值的结果。

6.如权利要求5所述的电子装置，其中所述激活函数功能块还被配置为：

从在所述激活函数功能块外部的源接收对所述给定量的指示，所述第二范围中的输入值将移位所述给定量。

7.如权利要求3所述的电子装置，其中所述指定激活函数是指数线性单元函数，并且其中：

第一线性函数与包括负值的输入值的第一范围相关联，所述第一线性函数对所述第一范围中的输入值生成为-α的常数结果，其中α是数值；并且

第二线性函数与包括0和正值的输入值的第二范围相关联，所述第二线性函数生成等于所述第二范围中的对应输入值的结果。

8.如权利要求3所述的电子装置，其中所述指定激活函数是指数线性单元函数，并且其中：

第一线性函数与包括小于-1的负值的输入值的第一范围相关联，所述第一线性函数对所述第一范围中的输入值生成为-α的常数结果，其中α是数值；

第二线性函数与包括-1和从0至-1的负值的输入值的第二范围相关联，所述第二线性函数生成等于所述第二范围中的对应输入值两倍的结果；并且

第三线性函数与包括0和正值的输入值的第三范围相关联，所述第三线性函数生成等于所述第三范围中的对应输入值的结果。

9.如权利要求3所述的电子装置，其中所述指定激活函数是双曲正切函数，并且其中：

第一线性函数与包括小于-1的负值的输入值的第一范围相关联，所述第一线性函数对所述第一范围中的输入值生成为-1的常数结果；

第二线性函数与包括-1和1以及从1至-1的值的输入值的第二范围相关联，所述第二线性函数生成等于所述第二范围中的对应输入值的结果；并且

第三线性函数与包括大于1的正值的输入值的第三范围相关联，所述第三线性函数对所述第三范围中的输入值生成为1的常数结果。

10.如权利要求1所述的电子装置，其中所述激活函数功能块包括专用硬件电路元件，所述专用硬件电路元件被配置为执行所述接收、所述确定和所述生成操作。