[发明专利]一种基于深度学习的网络模型压缩方法

权利要求书

1.一种基于深度学习的网络模型压缩方法，其特征在于，包括下列步骤：

设置用于图像分类或目标检测识别任务的网络模型，所述网络模型采用分组卷积和分解卷积的轻量化网络结构，包括多层卷积层；

基于所述网络模型的图像分类任务或目标检测识别任务，采集训练数据集，所述训练数据集包括图像数据和图像标签；

基于所述训练数据集对网络模型进行剪枝处理，并基于剪枝处理获取的网络模型对实时输入的待处理图像进行图像分类处理或目标检测识别处理；

其中，剪枝处理为：

获取剪枝处理前的网络模型的网络参数：初始化网络模型的网络参数，基于训练数据集和预置的损失函数对网络模型进行深度学习训练，当满足预设的预测精度时，停止训练；

按照网络的前向传播方向，逐层遍历网络模型的每一层卷积层，基于各卷积层的各个卷积核的内核权重进行逐层剪枝，每次剪枝后，对当前卷积层及其下一卷积层剩余的卷积核的权重进行初始化后，基于训练数据集对当前剪枝得到的网络模型进行深度学习训练，当满足预设的预测精度时，停止训练；

其中，卷积核的内核权重为：卷积核包括的绝对核权重的总和；

剪枝包括：剪去当前卷积层中内核权重最小的卷积核及其对应的特征映射，并在下一个卷积层中将该卷积核所对应修剪后的特征映射的卷积核剪去。

2.如权利要求1所述的方法，其特征在于，所述剪枝处理替换为：

获取剪枝处理前的网络模型的网络参数：初始化网络模型的网络参数，基于训练数据集和预置的损失函数对网络模型进行深度学习训练，当满足预设的预测精度时，停止训练；

按照网络的前向传播方向，逐层遍历网络模型的每一层卷积层，基于各卷积层的各个卷积核的内核权重进行逐层剪枝，当逐层剪枝完所有卷积层后，再对基于训练数据集对当前剪枝得到的网络模型进行深度学习训练，当满足预设的预测精度时，停止训练。

3.如权利要求1所述的方法，其特征在于，所述剪枝处理替换为：

获取剪枝处理前的网络模型的网络参数：初始化网络模型的网络参数，基于训练数据集和预置的损失函数对网络模型进行深度学习训练，当满足预设的预测精度时，停止训练；

对网络模型中的指定卷积层，按照按照网络的前向传播方向，依次基于各指定卷积层的各个卷积核的内核权重进行剪枝；

且每剪枝一次，则基于训练数据集对当前得到的网络模型进行一次深度训练，当满足预设的预测精度时停止；或者在所有指定卷积层均剪枝完成后，再基于训练数据集对当前得到的网络模型进行深度学习训练，当满足预设的预测精度时停止。

4.如权利要求1至3任一项所述的方法，其特征在于，在计算各个卷积核的内核权重时，舍弃已修剪过的特征映射对应的核函数的核权重。

5.如权利要求1至3任一项所述的方法，其特征在于，所述的方法，其特征在于，初始化网络模型的网络参数时，对于网络参数中的核权重，直接加载预训练的核权重。

6.如权利要求1所述的方法，其特征在于，所述网络模型的卷积层采用的卷积核的大小低于5×5。