[发明专利]神经网络自动剪枝方法、装置及电子设备

权利要求书

1.一种神经网络自动剪枝方法，包括：

获取待剪枝的神经网络、样本数据及对应的老师模型，其中，所述待剪枝的神经网络的各层间包含N种特征变换方式，其中，N为大于1的正整数；

将所述神经网络的第一层与第二层间的N种特征变换方式依次进行剪枝处理，以获取N个候选剪枝网络；

将所述样本数据分别输入所述N个候选剪枝网络及所述老师模型，以获取所述N个候选剪枝网络输出的N个第一软标签及所述老师模型输出的第二软标签；

根据所述N个第一软标签分别与所述第二软标签的差异，确定所述第一层与第二层间的N-1种特征变换方式；

执行将所述神经网络的第二层与第三层间的N种特征变换方式依次进行剪枝处理的操作，以确定所述第二层与第三层间的N-1种特征变换方式，直至剪枝后的神经网络的各层间仅包含一种特征变换方式。

2.如权利要求1所述的方法，其中，所述获取待剪枝的神经网络，包括：

获取网络搜索空间；

初始化所述网络搜索空间中各层间的各候选特征变换方式为全连接状态，以获取初始神经网络；以及

利用所述样本数据对所述初始神经网络进行训练，以获取所述待剪枝的神经网络。

3.如权利要求2所述的方法，其中，所述老师模型中包括M个分别与不同模型块的输出端连接的全连接层，其中，M为大于1的正整数，所述利用所述样本数据对所述初始神经网络进行训练，以获取所述待剪枝的神经网络，包括：

根据所述老师模型中所述M个全连接层的位置，对所述初始神经网络进行修正，以获取修正后的神经网络，其中，修正后的神经网络中包括M个全连接层；

利用所述样本数据对所述修正后的神经网络进行训练，以获取所述待剪枝的神经网络。

4.如权利要求3所述的方法，其中，所述利用所述样本数据对所述修正后的神经网络进行训练，以获取所述待剪枝的神经网络，包括:

将所述样本数据输入所述修正后的神经网络，以根据所述M个全连接层输出的软标签与所述样本数据对应的目标标签的差异，确定损失值；以及

根据所述损失值对所述修正后的神经网络进行训练，直至所述损失值小于阈值，以获取所述待剪枝的神经网络。

5.如权利要求3所述的方法，其中，所述利用所述样本数据对所述修正后的神经网络进行训练，以获取所述待剪枝的神经网络，包括:

利用所述样本数据对所述修正后的神经网络训练预设的次数，以获取所述待剪枝的神经网络。

6.如权利要求1-5任一所述的方法，其中，在所述执行将所述神经网络的第二层与第三层间的N种特征变换方式依次进行剪枝处理的操作之前，还包括：

利用所述样本数据，对更新后的所述待剪枝的神经网络进行训练，以获取新的待剪枝的神经网络，其中，所述更新后的所述待剪枝的神经网络的第一层与第二层间包含N-1种特征变换方式。

7.如权利要求1-5任一所述的方法，其中，所述老师模型中包括M个分别与不同模型块的输出端连接的全连接层，其中，M为大于1的正整数，所述将所述样本数据分别输入所述N个候选剪枝网络及老师模型，以获取所述N个候选剪枝网络输出的N个第一软标签及所述老师模型输出的第二软标签，包括：

确定与所述第一层及第二层关联的目标全连接层；

将所述样本数据分别输入所述N个候选剪枝网络及老师模型，以获取所述N个候选剪枝网络的目标全连接层分别输出的N个第一软标签及所述老师模型中对应的全连接层输出的第二软标签。

8.如权利要求1-5任一所述的方法，其中，在所述获取待剪枝的神经网络、样本数据及对应的老师模型之前，还包括：

获取开源网络模型；

利用所述样本数据对开源网络模型进行训练，以获取收敛后的网络模型；

在所述收敛后的网络模型的各个模型块的输出端分别引出全连接层，以生成包含多个全连接层的网络模型；

利用所述样本数据，对所述包含多个全连接层的网络模型的各全连接层进行训练，以获取所述老师模型。