[发明专利]一种神经网络声学模型激活函数定点量化方法

权利要求书

1.一种神经网络声学模型激活函数定点量化方法，其特征在于，该方法具体包括：

步骤(1)在DNN模型的第l层，将所述第l-1层的浮点激活向量中x^(l-1)＝[x₁,…,x_N]^T的每个浮点激活值线性地量化为0～2^K的整数，K为量化的级数，得到所述第l-1层的线性定点量化的激活向量

其中，

其中，x_i为第l-1层的浮点激活向量x^(l-1)的第i维元素，为第l-1层的线性定点量化的激活向量x^*(l-1)的第i维元素；

步骤(2)对步骤(1)中得到的所述第l-1层的线性定点量化的激活向量x^*(l-1)中的每个激活值进一步分级，即将所述每个激活值近似为最为邻近的2的整次幂，最终得到所述第l-1层的分级定点量化激活向量

步骤(3)对第l层进行线性定点量化，即将该层浮点型权值矩阵W^(l)的权值w_M,N线性地量化为-127到127间的整数；

步骤(4)进行DNN第l层的前馈计算，最终得到第l层的浮点型激活向量x^(l)：

a^(l)＝W^*(l)·x^**(l-1)

x(l)=σ(a(l)·wmax(l)127×2K)]]>

其中，x^**(l-1)为第l-1层的分级定点量化的激活向量；W^*(l)为线性定点量化后的浮点型权值矩阵；为第l层权值矩阵W^(l)中所有元素中的绝对值最大值，a^(l)为临时变量。

2.根据权利要求1所述的一种神经网络声学模型激活函数定点量化方法，其特征在于，在所述步骤(2)中，所述第l-1层的分级定点量化激活向量中的任意一个元素的取值需满足：

具体对应关系如下：

其中，x^*(l-1)为第l-1层的线性定点化的激活向量中的元素，x^**(l-1)为第l-1层分级定点量化的激活向量中的元素，和分别表示向上取整和向下取整。

3.根据权利要求1所述的一种神经网络声学模型激活函数定点量化方法，其特征在于，所述步骤(3)中，对第l层进行线性定点量化进一步包括：

wmax(l)=max(|W(l)|)]]>

W*(l)=round(W(l)Wmax(l)·127)]]>

其中，W^(l)为包含第l层的权值w_i,j(其中i＝1,…,M，j＝1,…,N)的浮点型权值矩阵，即

max(|W^(l)|)为取出矩阵W^(l)的绝对值最大的元素值，W^*(l)为线性定点量化后的浮点型权值矩阵，round(·)为四舍五入取整操作。