[发明专利]一种基于可微量化训练的视觉Transformer压缩方法及系统

权利要求书

1.一种基于可微量化训练的视觉Transformer压缩方法，其特征在于，包括以下步骤：

步骤一、将输入图片进行分块处理，并通过线性映射转换成对应的图片序列；

步骤二、将图片序列依次经过M次全局信息与局部信息的量化交替式处理，得到压缩后的图片序列；其中M为整数；

步骤三、将压缩后的图片序列进行分类处理，输出预测的概率值；在执行步骤一至步骤三时引入了可微量化步长训练方法，基于可微量化步长训练方法提高每次可微量化步长与图像数据的匹配度；同时，步骤二在执行局部信息量化时引入了可微量化偏置训练方法，基于可微量化偏置训练方法自动学习得到最优的量化区间，保留负激活区域的信息。

2.根据权利要求1所述的一种基于可微量化训练的视觉Transformer压缩方法，其特征在于，在执行可微量化步长训练方法和/或可微量化偏置训练方法时，还包括基于最小化均方误差的量化参数初始化。

3.根据权利要求1所述的一种基于可微量化训练的视觉Transformer压缩方法，其特征在于，所述可微量化步长训练方法同时适用于图像特征量化和图像权重量化；

其中，所述可微量化步长训练方法包括以下流程：

定义全精度的权重为w，量化后的定点权重为q，量化操作表示为：

式中，clip(z,a,b)表示将矩阵z中大于a的元素置为a，大于b的元素置为b；round操作表示基于四舍五入的取整；α表示可微量化步长，-q_min,q_max分别表示量化范围的最小值和最大值；

通过反量化操作，计算得到与定点权重为q相对应的浮点

4.根据权利要求1所述的一种基于可微量化训练的视觉Transformer压缩方法，其特征在于，所述可微量化偏置训练方法包括以下流程：

定义全精度的权重为w，量化后的定点权重为q，量化操作表示为：

式中，clip(z,a,b)表示将矩阵z中大于a的元素置为a，大于b的元素置为b；round操作表示基于四舍五入的取整；α表示可微量化步长，-q_min,q_max分别表示量化范围的最小值和最大值；

通过反量化操作，计算得到与定点权重为q相对应的浮点其中，β为引入的可微量化偏置。

5.根据权利要求3或4任意一项所述的一种基于可微量化训练的视觉Transformer压缩方法，其特征在于，所述-q_min,q_max的取值如下：给定量化比特位b，

对于带符号的数量化，则有q_min＝2^b-1,q_max＝2^b-1-1；

对于无符号的数量化，则有q_min＝0,q_max＝2^b-1。

6.根据权利要求3或4任意一项所述的一种基于可微量化训练的视觉Transformer压缩方法，其特征在于，

反量化操作时，使用直通估计器处理梯度：若α发生更新，则对其梯度除以额外的缩放因子g，其中N_w表示全精度的权重w的元素个数。

7.根据权利要求2所述的一种基于可微量化训练的视觉Transformer压缩方法，其特征在于，基于最小化均方误差的量化参数初始化具体包括以下流程：

对于只有可微量化步长α而没有偏置的层，其初始化方法表示为：

假设α为已知，求解得到

假设q为已知，求解得到

反复迭代求解q和α直到α收敛，将其值作α的初始值，然后再通过梯度下降法更新α。