[发明专利]可在线切换比特位宽的量化神经网络的方法及系统

权利要求书

1.一种可在线切换比特位宽的量化神经网络的方法，其特征在于，包括：

步骤M1：将不同比特位宽的深度神经网络整合到一个超网络中，所有比特位宽的网络共享同一个网络架构；

步骤M2：超网络以不同的比特位宽运行，对于任意一个比特位宽，得到对应的网络中间层特征，每一个网络中间层特征采用相应的批归一化层进行处理；

步骤M3：通过监督学习对超网络进行训练，在超网络训练阶段模拟量化噪声，直至低比特模式与高比特模式之间的一致性损失函数收敛，得到训练后的超网络；

步骤M4：使用预设的量化器从训练后的超网络中抽取出目标比特位的量化神经网络进行低比特推理；

所述低比特模式是k小于预设值时的比特位宽的子神经网络模式；

所述高比特模式是k为预设值时的比特位宽的子神经网络模式。

2.根据权利要求1所述的可在线切换比特位宽的量化神经网络的方法，其特征在于，所述步骤M1包括：基于高比特神经网络能够量化为低比特神经网络，将不同比特位宽的子神经网络整合到一个超网络中；超网络与不同比特位宽的各子神经网络拥有相同的网络拓扑结构，同时共享所有的卷积层/全连接层参数；低比特位宽的子神经网络能够通过高比特位宽的子神经网络量化得到。

3.根据权利要求1所述的可在线切换比特位宽的量化神经网络的方法，其特征在于，所述步骤M2中每一个网络中间层特征采用相应的批归一化层进行处理包括：

其中，k表示比特位宽；f_k表示待处理的k比特位宽子神经网络产生的原始特征；γ_k和β_k表示k比特位宽子神经网络专属的可学习的参数；μ_k和σ_k²是原始特征f_k的均值和方差；∈表示一个极小量。

4.根据权利要求1所述的可在线切换比特位宽的量化神经网络的方法，其特征在于，所述步骤M3包括：

超网络的优化任务是基于多任务学习，优化的超网络整体目标函数，公式如下：

L_all＝∑_{k∈mode list}α_kL_k+ω||Q||² (2)

其中，mode list表示超网络包含的所有比特位宽的子神经网络的集合，k表示k比特位宽的子神经网络；L_k表示k比特位宽的子神经网络对应的一致性损失函数；α_k表示子优化目标L_k在整体目标函数中占的比重；Q表示超网络的参数；||||²表示L2范数；||Q||²表示参数衰减，对超网络进行正则化；ω为参数衰减的权重；

对于各子优化目标L_k，当k＝a时，a表示与硬件相匹配的数据类型，超网络以单精度浮点数运行，L_a的具体表达形式如下：

其中，(X，Y)表示目标数据集的图像和标签；x_i表示图像，y_i表示图像类别标签；f_a表示单精度浮点数子神经网络；H表示交叉熵函数；

对于各子优化目标L_k，当k＜a时，超网络以k比特整型数运行，L_k的表达形式如下：

其中，KL表示低比特模式对应的分布与高比特模式对应的分布之间的KL散度；σ表示softmax函数，将网络的输出映射为概率值；T表示计算概率值的超参数，实现不同比特位宽的子神经网络之间的一致性对齐。