[发明专利]可调节量化位宽的神经网络量化与压缩的方法及装置

权利要求书

1.一种卷积神经网络量化与压缩的方法，其特征在于，包括：

获取原始卷积神经网络卷积层初始的权值张量、以及除所述原始卷积神经网络的第一层以外各层初始的输入特征张量；

基于预先设定的量化位宽，对所述初始的权值张量以及所述初始的输入特征张量进行定点量化，分别得到权值定点表示张量以及输入特征定点表示张量；

利用所述权值定点表示张量以及所述输入特征定点表示张量，分别替换所述初始的权值张量以及所述初始的输入特征张量，得到对所述原始卷积神经网络量化与压缩后的新的卷积神经网络；

其中，所述对所述初始的权值张量以及所述初始的输入特征张量进行定点量化，具体为：

对所述原始卷积神经网络中各卷积层，将所述初始的输入特征张量进行由浮点数到定点数的量化，获得与所述初始的输入特征张量近似的第一输入特征张量，所述第一输入特征张量为输入特征定点表示张量，直至所述原始卷积神经网络中所有卷积层被遍历；

对所述原始卷积神经网络中各卷积层，将所述初始的权值张量进行由浮点数到定点数的量化，获得权值缩放系数以及第一权值张量，直至所述原始卷积神经网络中所有卷积层被遍历；

其中，所述利用所述权值定点表示张量以及所述输入特征定点表示张量，分别替换所述初始的权值张量以及所述初始的输入特征张量，得到对所述原始卷积神经网络量化与压缩后的新的卷积神经网络，具体包括：

将所述权值缩放系数和所述第一权值张量进行乘积计算，得到第二权值张量，并将所述权值缩放系数进行迭代直至收敛于稳定的权值缩放系数，再将稳定的权值缩放系数与所述第二权值张量进行乘积，并将得到的结果替换初始的权值张量；将所述第一输入特征张量利用较高位宽的定点数进行近似，并将得到的结果替换初始的输入特征张量，对原始卷积神经网络进行量化与压缩，进而得到新的卷积神经网络。

2.根据权利要求1所述的卷积神经网络量化与压缩的方法，其特征在于，将所述初始的输入特征张量与权值张量进行由浮点数到定点数的量化，其方法为：

使用最近邻法对所述初始的输入特征张量与权值张量进行由浮点数到定点数的量化。

3.根据权利要求2所述的卷积神经网络量化与压缩的方法，其特征在于，所述得到权值定点表示张量，其方法包括：

基于预先设定的量化位宽直接量化所述初始的权值张量得到权值定点表示张量，或者基于预先设定的量化位宽量化所述初始的权值张量，将得到的结果进行迭代训练后，得到权值定点表示张量。

4.根据权利要求3所述的卷积神经网络量化与压缩的方法，其特征在于，所述将得到的结果进行迭代训练，其方法为：

对所述权值缩放系数进行初始化；

将所述第一权值张量依照所述权值缩放系数进行缩放，将缩放结果按照所述量化位宽进行量化，得到第二权值张量；

求解权值缩放系数，直至权值缩放系数收敛于设定的稳定值，得到稳定的权值缩放系数；

对第二权值张量与稳定的权值缩放系数进行乘积操作，得到权值定点表示张量。

5.根据权利要求4所述的卷积神经网络量化与压缩的方法，其特征在于，求解所述权值缩放系数，其方法为：

将所述第二权值张量与所述权值缩放系数代入公式计算对所述第一权值张量的最优表示，根据计算结果更新所述权值缩放系数，具体公式为：

其中，α_g表示权值缩放系数，Q_g表示第二权值张量，W_g表示第一权值张量。

6.根据权利要求5所述的卷积神经网络量化与压缩的方法，其特征在于，所述第二权值张量与所述权值缩放系数一一对应。