[发明专利]一种生成学生网络模型的方法

权利要求书

1.一种生成学生网络模型的方法，学生网络模型应用于图像识别领域，其特征在于，所述方法包括下述步骤：

步骤1)、获取预训练的教师网络模型；

步骤2)、构建辅助网络模型，设定所述辅助网络模型的输入为表征其各层网络结构的嵌入向量，所述辅助网络模型的输出为表征学生网络模型结构的参数，所述辅助网络模型的各层分别与所述学生网络模型中的待训练层对应；

步骤3)、对所述辅助网络模型初始化，利用初始化的辅助网络模型生成学生网络模型，学生网络模型包括卷积层、全连接层和Softmax分类器；

步骤4)、将带有图像标签的训练图像分别输入到所述学生网络模型和所述教师网络模型，所输入的图像数据经过辅助网络生成的学生网络模型产生的卷积层得到图像对应的特征图、图像对应的特征图经全连接层的权重的处理得到全连接层的输出，全连接层的输出经Softmax分类器的处理得到图像的分类概率作为检测结果，基于所述学生网络模型的检测结果以及图像标签计算标签损失，基于学生网络模型的检测结果和教师网络模型的检测结果计算逻辑层损失，并将相应损失返回到所述辅助网络模型中，对所述辅助网络模型的结构进行迭代调整，直至收敛；

步骤5)、根据得到的所述辅助网络模型生成所述学生网络模型。

2.根据权利要求1所述的方法，其特征在于，所述步骤2)包括生成元输入和查找表，所述元输入包括若干个独热编码向量，所述查找表将每个独热编码向量与一种表示网络层结构的嵌入向量表示相对应。

3.根据权利要求2所述的方法，其特征在于，所述辅助网络模型初始化包括随机生成若干所述独热编码向量，将各个独热编码向量所对应的表示网络结构的嵌入向量表示输入至所述辅助网络模型中的相应层。

4.根据权利要求1所述的方法，其特征在于，对所述辅助网络模型的结构进行迭代调整包括对辅助网络模型各层的权重参数以及嵌入向量的权重参数进行调整。

5.根据权利要求1所述的方法，其特征在于，步骤4)中所计算的损失包括学生网络模型输出与教师网络模型输出交叉熵Loss_{stu_tea}以及学生网络模型输出与原始标签交叉熵Loss_{stu_label}。

6.根据权利要求1所述的方法，其特征在于，所述方法包括：

训练过程中，将每个迭代批次的图像特征输入教师网络模型，所输入的图像数据经过预训练后的教师网络模型生成预测结果y_tea；

y_tea＝TeaNet(ImgFea，tea_weights)

将每个迭代批次的图像特征输入学生网络模型，生成预测结果y_stu，

y_stu＝StuNet(InputImages，stu_weights)；

根据下式计算学生网络模型输出的损失Loss：

Loss＝αLoss_{stu_tea}+βLoss_{stu_label}

＝L(y_stu，y_tea)+β(y_stu，Label)

其中，β为调和因子，函数L公式如下：

7.根据权利要求6所述的方法，其特征在于，所述方法包括：根据损失函数，利用反向传播方法分别利用下述公式对所述辅助网络模型以及嵌入向量的权重参数进行优化直至收敛，公式如下：

其中，η为学习率，φ为所述辅助网络模型或嵌入向量的当前权重参数，φ′为所述辅助网络模型或嵌入向量更新后的权重参数。

8.根据权利要求1-7中任意一项的方法，其特征在于，所述方法包括，随机生成不同的嵌入向量分别输入至所述辅助网络模型，生成不同的学生网络模型，使用演化算法利用验证数据集挑选最优的学生网络模型。