[发明专利]一种剪枝神经网络方法、系统、设备及可读存储介质

说明书

本申请实施例公开了一种剪枝神经网络方法、系统、设备及可读存储介质，所述方法包括：对YOLOv3网络原始模型进行残差模块和卷积通道的稀疏训练；对网络中不重要的残差模块进行修剪，同时修剪初始模型权重文件中的对应权重；按照卷积层通道的重要性排序和计划修剪的卷积层通道比例确定修剪卷积层通道的γ系数阈值，按照确定好的阈值进行卷积层通道的修剪；对修剪后模型的权重进行训练微调；评估修剪后模型的算力、帧率和精度。通过修剪掉相对不重要的残差模块和卷积层通道，使得YOLOv3模型在精度基本不变的情况下模型参数量减少，所需算力大大减小，能够更好地适应智能车辆嵌入式设备的精度和实时性需求。

技术领域

本申请实施例涉及人工智能技术领域，具体涉及一种剪枝神经网络方法、系统、设备及可读存储介质。

背景技术

随着计算机视觉领域的最新发展，环境感知设备越来越被广泛地应用于智能车辆之中。目标检测是环境感知技术中的一项核心技术，近年来，YOLO系列模型凭借其精度高、速度快的特点而迅速成为目标检测模型之中的佼佼者，被越来越多地应用于智能驾驶设备的研发与生产之中。

然而，由于YOLOv3模型结构复杂、参数量庞大，嵌入式设备有限的内存和计算能力无法满足实际应用中的实时性需要，且算法的实时性要求与其精度要求相互矛盾。故此，最大限度地压缩YOLOv3模型，在基本保证其精度的情况下提高其实时性，减少其在运行过程中所消耗的内存和算力，成为当下该领域亟待解决的问题。

当前，主流模型压缩方法有模型低秩分解、模型量化、模型蒸馏、模型剪枝和模型结构搜索等方法，其中，由于模型剪枝速度快，得到的模型精度和实时性较好，该方法成为当前生产和研发中较为常用的模型压缩方法。模型剪枝分为模型权重剪枝和模型结构剪枝，模型权重剪枝是非结构性剪枝，所得模型不易在嵌入式设备上部署，而模型结构剪枝则是结构性的剪枝，故模型结构剪枝较为常用。传统的模型结构剪枝方法大多只在卷积层通道的层次上进行剪枝，并且不处理残差模块中相连接的卷积层，剪枝的范围很受限制。

发明内容

为此，本申请实施例提供一种剪枝神经网络的方法、系统、设备及可读存储介质，修剪掉相对不重要的残差模块和卷积层通道，使得YOLOv3模型在精度基本不变的情况下模型参数量减少，所需算力大大减小，能够更好地适应智能车辆嵌入式设备的精度和实时性需求。

为了实现上述目的，本申请实施例提供如下技术方案：

根据本申请实施例的第一方面，提供了一种剪枝神经网络方法，其特征在于，所述方法包括：

按照初始YOLOv3网络结构训练原始模型；

对所述原始模型进行残差模块和卷积通道的稀疏训练；

确定各个残差模块的重要性顺序；

按照残差模块的重要性排序和计划修剪的残差模块个数，对网络中不重要的残差模块进行修剪，同时修剪初始模型权重文件中的对应权重；对已修剪掉残差模块的网络和权重中的批标准化BN层比例系数γ的绝对值进行排序后，确定网络中剩余所有卷积层通道的所有重要性顺序；

按照卷积层通道的重要性排序和计划修剪的卷积层通道比例确定修剪卷积层通道的γ系数阈值，按照确定好的阈值进行卷积层通道的修剪；

对修剪后模型的权重进行训练微调；

评估修剪后模型的算力、帧率和精度，若符合要求，则输出压缩后的模型；若不符合要求，则修改稀疏训练参数和修剪参数，重新进行修剪。

可选地，所述对所述原始模型进行残差模块和卷积通道的稀疏训练，包括：