[发明专利]一种基于{-1，+1}编码的神经网络模型压缩与加速方法

权利要求书

1.一种基于{-1，+1}编码的神经网络模型压缩与加速方法，其特征在于，首先构建神经网络模型；然后根据具体任务要求的精度对[-1,1]进行分段处理，根据分段数确定对模型参数与激活值重新进行{-1,1}编码的位数M；对神经网络模型进行初始化并对模型参数进行量化；对神经网络模型进行训练并在训练中根据{-1,1}编码的位数M对模型参数与激活值使用线性量化公式进行量化；对训练完成的量化神经网络模型参数进行M位数的{-1,1}编码；在神经网络模型的每个激活层后面加上一个用于对激活值进行重新M位{-1,1}编码的编码层；将神经网络内部矩阵或向量乘法操作替换成若干个二值位运算，从而实现模型压缩与加速。

2.根据权利要求1所述的一种基于{-1，+1}编码的神经网络模型压缩与加速方法，其特征在于，神经网络模型的激活函数为激活函数HReLU，具体如下：

其中，HReLU(x)表示以x为输入得到的激活值。

3.根据权利要求1所述的一种基于{-1，+1}编码的神经网络模型压缩与加速方法，其特征在于，分段处理具体为：将[-1,1]分成2^M段，根据分段数2^M确定后面对模型参数与激活值重新进行{-1,1}编码的位数M。

4.根据权利要求1所述的一种基于{-1，+1}编码的神经网络模型压缩与加速方法，其特征在于，对神经网络模型均值为0方差为1的权值初始化，并根据{-1,1}编码的位数M对模型参数使用线性量化公式进行量化。

5.根据权利要求4所述的一种基于{-1，+1}编码的神经网络模型压缩与加速方法，其特征在于，线性量化公式如下：

其中，q^M(x)表示在M位{-1,1}编码下得到的量化参数值，x表示全精度参数值，M表示{-1,1}编码的位数，<·>表示舍入操作。

6.根据权利要求1所述的一种基于{-1，+1}编码的神经网络模型压缩与加速方法，其特征在于，对训练完成的量化神经网络模型参数采用编码公式MBitEncoder进行M位数的{-1,1}编码，编码公式MBitEncoder如下：

其中，MBitEncoder(x)表示对x进行M位的{-1,1}编码，M表示{-1,1}编码的总位数，m表示M位{-1,1}编码中的第m位，表示M位{-1,1}编码中的第m位编码中的确定值并且

7.根据权利要求6所述的一种基于{-1，+1}编码的神经网络模型压缩与加速方法，其特征在于，对量化后的量化值x_q进行M位{-1,1}编码后可表示为：

x_qm∈{-1,1}

其中，x_qm表示x_q的第m位的值，M表示编码的{-1,1}编码的总位数，x_q每一位可以表示为：

x_q→[x_qMx_q(M-1)x_q(M-2)...x_q1]

其中，[]表示x_q的内部编码形式，x_qM表示x_q内部{-1,1}编码第M位的状态且x_qM∈{-1,1}。

8.根据权利要求1所述的一种基于{-1，+1}编码的神经网络模型压缩与加速方法，其特征在于，将神经网络内部矩阵或向量乘法操作替换成若干个二值位运算操作，对编码后的参数与激活值的每一位进行分离，分离后模型参数与激活值之间的乘法运算被分解成若干个二值位运算的计算。