[发明专利]基于卷积核的超网络搜索方法、装置、设备和介质

权利要求书

1.一种基于卷积核的超网络搜索方法，包括：

训练初始化后的超网络，其中，所述超网络在初始状态下卷积核的尺寸为自然数n；

基于所述训练后卷积核尺寸为n的超网络，在搜索空间内尺寸小于n的多个卷积核中按照尺寸从大到小的顺序，依次按照卷积核训练方式进行训练，直到最后一个尺寸的卷积核训练完毕为止，得到超网络搜索结果；

其中，所述卷积核训练方式包括冻结卷积核的权重，并训练转换矩阵。

2.根据权利要求1所述的方法，其中，所述转换矩阵的训练方式包括：

在当前尺寸卷积核训练的过程中，在所述超网络的各卷积层中逐层开放转换矩阵采样。

3.根据权利要求2所述的方法，其中，所述在当前尺寸卷积核训练的过程中，在所述超网络的各卷积层中逐层开放转换矩阵采样，包括：

在当前尺寸卷积核训练的过程中，依次对至少m层卷积层开放采样当前尺寸卷积核的转换矩阵，直到m等于L为止，其中，L为所述卷积层的层数，m从1到L逐渐增加。

4.根据权利要求3所述的方法，其中，所述在当前尺寸卷积核训练的过程中，在所述超网络的各卷积层中逐层开放转换矩阵采样，还包括：

在所述超网络的各卷积层中，每层只采样当前尺寸卷积核的转换矩阵。

5.根据权利要求1所述的方法，其中，所述转换矩阵的训练方式包括：

在当前尺寸卷积核训练的过程中，在所述超网络的各卷积层中均开放转换矩阵采样。

6.根据权利要求1所述的方法，其中，对所述超网络中各尺寸卷积核的训练是基于知识蒸馏算法进行，训练过程中的损失函数是预选教师模型中最后全连接层的蒸馏损失函数。

7.根据权利要求1所述的方法，还包括：

基于所述超网络搜索结果，输出满足延时约束和精度约束的目标模型结构。

8.一种基于卷积核的超网络搜索装置，包括：

第一训练模块，用于训练初始化后的超网络，其中，所述超网络在初始状态下卷积核的尺寸为自然数n；

第二训练模块，用于基于所述训练后卷积核尺寸为n的超网络，在搜索空间内尺寸小于n的多个卷积核中按照尺寸从大到小的顺序，依次按照卷积核训练方式进行训练，直到最后一个尺寸的卷积核训练完毕为止，得到超网络搜索结果；

其中，所述卷积核训练方式包括冻结卷积核的权重，并训练转换矩阵。

9.根据权利要求8所述的装置，其中，所述转换矩阵的训练方式包括：

在当前尺寸卷积核训练的过程中，在所述超网络的各卷积层中逐层开放转换矩阵采样。

10.根据权利要求9所述的装置，其中，所述第二训练模块具体用于：

在当前尺寸卷积核训练的过程中，依次对至少m层卷积层开放采样当前尺寸卷积核的转换矩阵，直到m等于L为止，其中，L为所述卷积层的层数，m从1到L逐渐增加。

11.根据权利要求10所述的装置，其中，所述第二训练模块还具体用于：

在所述超网络的各卷积层中，每层只采样当前尺寸卷积核的转换矩阵。

12.根据权利要求8所述的装置，其中，所述转换矩阵的训练方式包括：

在当前尺寸卷积核训练的过程中，在所述超网络的各卷积层中均开放转换矩阵采样。

13.根据权利要求8所述的装置，其中，所述第一训练模块和所述第二训练模块对所述超网络中各尺寸卷积核的训练是基于知识蒸馏算法进行，训练过程中的损失函数是预选教师模型中最后全连接层的蒸馏损失函数。

14.根据权利要求8所述的装置，还包括：

输出模块，用于基于所述超网络搜索结果，输出满足延时约束和精度约束的目标模型结构。