[发明专利]网络模型裁剪方法、装置、电子设备及可读存储介质

说明书

本申请提供一种网络模型裁剪方法、装置、电子设备及可读存储介质，该方法包括：对原始网络模型进行稀疏约束训练；依据同一训练过程中对所述原始网络模型进行不同轮数的稀疏约束训练的训练结果统计N1条裁剪参数‑优化目标量曲线，直至统计得到的裁剪参数‑优化目标量曲线满足预设停止规则；依据所述N1条裁剪参数‑优化目标量曲线，以及预设裁后优化目标量，确定第一目标裁剪参数；依据所述第一目标裁剪参数确定各层的裁剪比例；依据各层的裁剪比例，对所述原始网络模型进行变权重稀疏约束训练，得到原始网络模型对应的稀疏模型，并依据各层的裁剪比例对所述稀疏模型进行裁剪。该方法可以实现基于变权重稀疏约束的网络模型自动裁剪。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种网络模型裁剪方法、装置、电子设备及可读存储介质。

背景技术

随着人工智能技术的高速发展，依据网络模型执行智能任务，如进行智能检测(如车辆、车牌检测等)的应用越来越普及。由于终端设备的计算资源通常是有限的，若网络模型的结构过于复杂，则其对计算资源的需求会过大，导致终端设备依据该网络模型执行智能任务的速度会比较慢，实时性较差。因此，为了提高终端设备执行智能任务的实时性，可以对终端设备上应用的网络模型进行合理裁剪，而基于稀疏约束的网络模型裁剪是一种较为常用的网络模型裁剪方式。

稀疏约束是通过训练重构模型参数的一种典型方法，通过将每层网络参数分为多组，并在目标函数中添加稀疏约束的方式，减小一些组的范数，从而达到稀疏的目的。

目前，基于稀疏约束对网络模型进行裁剪主要包括两种方案：

1、等权重稀疏约束方案：对网络模型的所有连接使用相同强度的稀疏约束。这种方法的缺点是不能将网络的每一层精确稀疏到指定稀疏度。

2、变权重稀疏约束方案：对网络模型的不同连接使用不同强度的稀疏约束，从而，将网络的每层精确稀疏到指定稀疏度。

然而实践发现，传统变权重稀疏约束方案需要人工设定网络模型各层的裁剪比例，无法实现自动裁剪，导致终端设备依据网络模型执行智能任务的实时性较差。

发明内容

有鉴于此，本申请提供一种网络模型裁剪方法、装置、电子设备及可读存储介质，以解决传统变权重稀疏约束方案无法实现网络模型自动裁剪，进而导致终端设备执行智能任务的实时性差的问题。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种网络模型裁剪方法，包括：

对原始网络模型进行稀疏约束训练；

依据同一训练过程中对所述原始网络模型进行不同轮数的稀疏约束训练的训练结果统计N1条裁剪参数-优化目标量曲线，直至统计得到的裁剪参数-优化目标量曲线满足预设停止规则；其中，基于任一训练结果统计得到的裁剪参数-优化目标量曲线，用于表征该训练结果按照不同裁剪参数进行裁剪后的优化目标量，裁剪参数与该训练结果的各层的裁剪比例正相关，N1≥2，所述预设停止规则包括目标裁剪参数随着训练轮数增加的变化幅度不超过预设取值范围，目标裁剪参数为使裁剪后的网络模型的计算量等于预设裁后计算量的裁剪参数；

依据所述N1条裁剪参数-优化目标量曲线，以及预设裁后优化目标量，确定第一目标裁剪参数；

依据所述第一目标裁剪参数确定各层的裁剪比例；

依据所述各层的裁剪比例，对所述原始网络模型进行变权重稀疏约束训练，得到所述原始网络模型对应的稀疏模型，并依据所述各层的裁剪比例对所述稀疏模型进行裁剪。

根据本申请实施例的第二方面，提供一种网络模型裁剪装置，包括：

预训练单元，用于对原始网络模型进行稀疏约束训练；