[发明专利]基于逆时针逐块知识蒸馏的神经网络模型压缩方法及系统

权利要求书

1.基于逆时针逐块知识蒸馏的神经网络模型压缩方法，其特征在于，包括：

获取构建并训练好的教师模型，并保存训练教师模型时所使用的损失函数；

将所述教师模型由浅到深划分N个子网块，教师模型最浅层的子网块直接作为学生模型最浅层子网块，并以教师模型最浅层子网块之外的N-1个子网块为基础分别构造N-1个学生模型子网块；利用所述损失函数，将获得的N-1个学生模型子网块按照自顶向下的顺序依次替换教师模型中最浅层子网块之外的N-1个子网块获取到中间模型；

利用损失函数将中间模型进行训练至收敛得到压缩后的目标学生模型。

2.如权利要求1所述的基于逆时针逐块知识蒸馏的神经网络模型压缩方法，其特征在于，所述损失函数为模型的预测值与真实值的差异程度，根据具体任务而定。

3.如权利要求1所述的基于逆时针逐块知识蒸馏的神经网络模型压缩方法，其特征在于，所述划分的子网块的数量至少占其所在模型总参数量的2％。

4.如权利要求1所述的基于逆时针逐块知识蒸馏的神经网络模型压缩方法，其特征在于，构造学生模型子网块的方法包括：

针对不包含输出层的教师模型子网块，首先缩减教师模型子网块的通道数，再通过连接一个逐点卷积层扩展为原始的输出通道数，将此作为替换教师模型子网块的学生子网块。

5.如权利要求4所述的基于逆时针逐块知识蒸馏的神经网络模型压缩方法，其特征在于，对于包含输出层的教师模型子网块，保持输出层大小不变，只缩减其余网络层的通道数，由浅到深的增加对教师模型子网块的压缩程度。

6.如权利要求1所述的基于逆时针逐块知识蒸馏的神经网络模型压缩方法，其特征在于，所述学生模型与教师模型用于同一任务中。

7.如权利要求1所述的基于逆时针逐块知识蒸馏的神经网络模型压缩方法，其特征在于，所述利用损失函数，将获得的N-1个学生模型子网块按照自顶向下的顺序依次替换教师模型中最浅层子网块之外的N-1个子网块的具体过程为：

S1：将所述教师模型记为T^X，教师模型子网块记为t^X，学生模型子网块记为s^X；

S2：令X＝1；

S3：将教师模型T^X内的教师子网块t^X用学生模型子网块s^X进行替换获得模型T^X+1；

S4：冻结模型T^X+1内除了s^X的其它网络结构；通过损失函数训练中间模型T^X+1至收敛；

S5：令X＝X+1，重复步骤S3至S5，直到X＝N。

8.基于逆时针逐块知识蒸馏的神经网络模型压缩系统，其特征在于，包括：

数据加载模块，用于获取构建并训练好的教师模型，并保存训练教师模型时所使用的损失函数；

压缩模块，用于将所述教师模型由浅到深划分N个子网块，教师模型最浅层的子网块直接作为学生模型最浅层子网块，并以教师模型最浅层子网块之外的N-1个子网块为基础分别构造N-1个学生模型子网块；利用所述损失函数，将获得的N-1个学生模型子网块按照自顶向下的顺序依次替换教师模型中最浅层子网块之外的N-1个子网块获取到中间模型；利用损失函数将中间模型进行训练至收敛得到压缩后的目标学生模型。

9.一种计算机可读存储介质，其特征在于，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-7中任一项所述的基于逆时针逐块知识蒸馏的神经网络模型压缩方法。

10.一种终端设备，其特征在于，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行如权利要求1-7中任一项所述的基于逆时针逐块知识蒸馏的神经网络模型压缩方法。