[发明专利]一种基于深度神经网络的激活量量化方法及装置

权利要求书

1.一种基于深度神经网络的激活量量化方法，其特征在于，所述方法包括：

获取深度神经网络中网络层的激活量，其中，所述激活量中的元素按高度、宽度及深度三个方向排布；

沿所述激活量的深度方向，将所述激活量中元素特征间的差异小于预设阈值的深度划分为同一切片组，得到多个切片组；

分别采用通过量化公式得到的各切片组对应的量化参数，对各切片组进行量化。

2.根据权利要求1所述的方法，其特征在于，所述沿所述激活量的深度方向，将所述激活量中元素特征间的差异小于预设阈值的深度划分为同一切片组，得到多个切片组，包括：

沿所述激活量的深度方向，按照预设深度对所述激活量划分，得到多个等深度的切片组。

3.根据权利要求1所述的方法，其特征在于，所述沿所述激活量的深度方向，将所述激活量中元素特征间的差异小于预设阈值的深度划分为同一切片组，得到多个切片组，包括：

获取所述激活量中每个深度的元素特征；

将元素特征间的差异小于预设阈值的深度划分为同一切片组，得到多个切片组。

4.根据权利要求1所述的方法，其特征在于，所述量化参数包括：量化步长；

所述分别采用通过量化公式得到的各切片组对应的量化参数，对各切片组进行量化，包括：

根据各切片组对应的预设量化最大值、预设量化最小值及预设比特数，通过量化公式，得到各切片组的量化步长，其中，所述量化公式为：

所述step为量化步长，所述A为预设量化最大值，所述B为预设比特数；

分别采用各切片组的量化步长，对各切片组进行量化。

5.一种基于深度神经网络的激活量量化装置，其特征在于，所述装置包括：

获取模块，用于获取深度神经网络中网络层的激活量，其中，所述激活量中的元素按高度、宽度及深度三个方向排布；

划分模块，用于沿所述激活量的深度方向，将所述激活量中元素特征间的差异小于预设阈值的深度划分为同一切片组，得到多个切片组；

量化模块，用于分别采用通过量化公式得到的各切片组对应的量化参数，对各切片组进行量化。

6.根据权利要求5所述的装置，其特征在于，所述划分模块，具体用于：

沿所述激活量的深度方向，按照预设深度对所述激活量划分，得到多个等深度的切片组。

7.根据权利要求5所述的装置，其特征在于，所述划分模块，具体用于：

获取所述激活量中每个深度的元素特征；

将元素特征间的差异小于预设阈值的深度划分为同一切片组，得到多个切片组。

8.根据权利要求5所述的装置，其特征在于，所述量化参数包括：量化步长；

所述量化模块，具体用于：

根据各切片组对应的预设量化最大值、预设量化最小值及预设比特数，通过量化公式，得到各切片组的量化步长，其中，所述量化公式为：

所述step为量化步长，所述A为预设量化最大值，所述B为预设比特数；

分别采用各切片组的量化步长，对各切片组进行量化。

9.一种计算机设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-4任一所述的方法步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。