[发明专利]激活函数的实现方法及装置、存储介质、电子设备

权利要求书

1.一种激活函数的实现方法，其特征在于，所述方法包括：

基于采样点的预设位宽，将激活函数的定义域划分为N个子区间，并确定出每个子区间对应的采样点数目；

获得每个采样点对应的采样值，生成所述激活函数的查找表；

将所述激活函数所有的采样值进行分组处理，得到M个采样组，确定出每个采样组的基准采样值、以及该采样组内的剩余采样值与所述基准采样值之间的差值，所述差值消耗的存储位宽小于该差值对应的剩余采样值消耗的存储位宽；

依据所述查找表的预设存储精度，对各采样组的基准采样值和差值进行压缩存储，用以节省所述查找表占用的存储空间。

2.根据权利要求1所述的方法，其特征在于，所述将所述激活函数所有的采样值进行分组处理，得到M个采样组，包括：

根据保存所述查找表的物理存储器的位宽，确定所述采样组包括的采样值的数目，所述物理存储器的位宽不小于所述采样组的整体位宽，所述采样组的整体位宽为所述基准采样值的存储位宽以及该采样组中所有差值的存储位宽之和。

3.根据权利要求1或2所述的方法，其特征在于，针对与所述激活函数具有映射关系的关联激活函数，所述方法还包括：

基于所述激活函数与所述关联激活函数之间的映射关系、以及所述激活函数的查找表，实现所述关联激活函数。

4.一种激活函数的实现装置，其特征在于，所述装置包括：

子区间划分模块，用于基于采样点的预设位宽，将激活函数的定义域划分为N个子区间，并确定出每个子区间对应的采样点数目；

查找表生成模块，用于获得每个采样点对应的采样值，生成所述激活函数的查找表；

采样组分组模块，用于将所述激活函数所有的采样值进行分组处理，得到M个采样组，确定出每个采样组的基准采样值、以及该采样组内的剩余采样值与所述基准采样值之间的差值，所述差值消耗的存储位宽小于该差值对应的剩余采样值消耗的存储位宽；

查找表压缩模块，用于依据所述查找表的预设存储精度，对各采样组的基准采样值和差值进行压缩存储，用以节省所述查找表占用的存储空间。

5.根据权利要求4所述的装置，其特征在于，

所述采样组分组模块，用于根据保存所述查找表的物理存储器的位宽，确定所述采样组包括的采样值的数目，所述物理存储器的位宽不小于所述采样组的整体位宽，所述采样组的整体位宽为所述基准采样值的存储位宽以及该采样组中所有差值的存储位宽之和。

6.根据权利要求4或5所述的装置，其特征在于，针对与所述激活函数具有映射关系的关联激活函数，所述装置还包括：

关联激活函数实现模块，用于基于所述激活函数与所述关联激活函数之间的映射关系、以及所述激活函数的查找表，实现所述关联激活函数。

7.一种存储介质，其中存储有多条指令，其特征在于，所述指令由处理器加载，执行权利要求1至3任一项所述方法的步骤。

8.一种电子设备，其特征在于，所述电子设备包括：

权利要求7所述的存储介质；以及

处理器，用于执行所述存储介质中的指令。