[发明专利]网络模型裁剪方法、装置、电子设备及可读存储介质

权利要求书

1.一种网络模型裁剪方法，其特征在于，包括：

对原始网络模型进行稀疏约束训练；

依据同一训练过程中对所述原始网络模型进行不同轮数的稀疏约束训练的训练结果统计N1条裁剪参数-优化目标量曲线，直至统计得到的裁剪参数-优化目标量曲线满足预设停止规则；其中，基于任一训练结果统计得到的裁剪参数-优化目标量曲线，用于表征该训练结果按照不同裁剪参数进行裁剪后的优化目标量，裁剪参数与该训练结果的各层的裁剪比例正相关，N1≥2，所述预设停止规则包括目标裁剪参数随着训练轮数增加的变化幅度不超过预设取值范围，目标裁剪参数为使裁剪后的网络模型的计算量等于预设裁后计算量的裁剪参数；

依据所述N1条裁剪参数-优化目标量曲线，以及预设裁后优化目标量，确定第一目标裁剪参数；

依据所述第一目标裁剪参数确定各层的裁剪比例；

依据所述各层的裁剪比例，对所述原始网络模型进行变权重稀疏约束训练，得到所述原始网络模型对应的稀疏模型，并依据所述各层的裁剪比例对所述稀疏模型进行裁剪。

2.根据权利要求1所述的方法，其特征在于，所述依据同一训练过程中对所述原始网络模型进行不同轮数的稀疏约束训练的训练结果统计N1条裁剪参数-优化目标量曲线，包括：

同一训练过程中，每隔预设轮数，依据对所述原始网络模型进行当前轮数的稀疏约束训练的训练结果统计裁剪参数-优化目标量曲线。

3.根据权利要求1所述的方法，其特征在于，所述统计得到的裁剪参数-优化目标量曲线满足预设停止规则，包括：

相邻第二目标裁剪参数的差值满足预设停止规则；其中，对于统计得到的任一裁剪参数-优化目标量曲线，该裁剪参数-优化目标量曲线对应的第二目标裁剪参数为依据所述预设裁后优化目标量以及该裁剪参数-优化目标量曲线确定的裁剪参数。

4.根据权利要求3所述的方法，其特征在于，所述相邻第二目标裁剪参数的差值满足预设停止规则，包括：

连续N2个第二目标裁剪参数中，相邻第二目标裁剪参数的差值小于预设阈值，2≤N2≤N1。

5.根据权利要求4所述的方法，其特征在于，所述依据所述N1条裁剪参数-优化目标量曲线，以及预设裁后优化目标量，确定第一目标裁剪参数，包括：

依据所述连续N2个第二目标裁剪参数，确定所述第一目标裁剪参数。

6.根据权利要求1所述的方法，其特征在于，所述依据所述第一目标裁剪参数确定各层的裁剪比例，包括：

对于所述原始网络模型中通道数为A的层i，依据以下策略确定层i的裁剪比例r：

r＝a/A

其中，R为所述第一目标裁剪参数，y＝f(x)为对层i各通道的L2 norm按照从小到大进行排序后对应的曲线，对于任一通道，该通道的L2 norm为该通道所有元素的平方和。

7.一种网络模型裁剪装置，其特征在于，包括：

预训练单元，用于对原始网络模型进行稀疏约束训练；

统计单元，用于依据同一训练过程中对所述原始网络模型进行不同轮数的稀疏约束训练的训练结果统计N1条裁剪参数-优化目标量曲线，直至统计得到的裁剪参数-优化目标量曲线满足预设停止规则；其中，基于任一训练结果统计得到的裁剪参数-优化目标量曲线，用于表征该训练结果按照不同裁剪参数进行裁剪后的优化目标量，裁剪参数与该训练结果的各层的裁剪比例正相关，N1≥2，所述预设停止规则包括目标裁剪参数随着训练轮数增加的变化幅度不超过预设取值范围，目标裁剪参数为使裁剪后的网络模型的计算量等于预设裁后计算量的裁剪参数；

确定单元，用于依据所述N1条裁剪参数-优化目标量曲线，以及预设裁后优化目标量，确定第一目标裁剪参数；

所述确定单元，用于依据所述第一目标裁剪参数确定各层的裁剪比例；

处理单元，还用于依据所述各层的裁剪比例，对所述原始网络模型进行变权重稀疏约束训练，得到所述原始网络模型对应的稀疏模型，并依据所述各层的裁剪比例对所述稀疏模型进行裁剪。