[发明专利]神经网络模型迁移方法和系统、电子设备、程序和介质

说明书

本发明实施例公开了一种神经网络模型迁移方法和系统、电子设备、程序和介质，其中，方法包括：分别向训练好的第一神经网络模型和一待训练的第二神经网络模型输入相同的待处理对象；其中，第二神经网络模型小于第一神经网络模型的大小；获取第一差异和第二差异，第一差异为第一神经网络模型的特征层提取的特征与第二神经网络模型的特征层提取的特征之间的差异，第二差异为第一神经网络模型的分类层输出的分类结果与第二神经网络模型的分类层输出的分类结果之间的差异；根据第一差异和第二差异对第二神经网络模型进行网络训练。本发明实施例实现了基于大神经网络模型对小神经网络模型在输出特征和分类能力上的共同监督。

技术领域

本发明涉及数据处理技术，尤其是一神经网络模型迁移方法和系统、电子设备、程序和介质。

背景技术

在当今的图像识别任务中的一个普遍共识是在样本数据足够、训练方法恰当、网络模型设计科学的条件下，所使用的网络模型越大、越复杂，往往能够得到越精确的识别结果。虽然网络模型越大、越复杂，识别结果越精确可靠，但是，由于体量庞大、计算复杂的问题，从而使得其在实际应用中会占用大量的存储和计算资源。

发明内容

本发明实施例提供一种用于进行神经网络模型迁移的技术方案。

根据本发明实施例的一个方面，提供一种神经网络模型迁移方法，包括：

分别向训练好的第一神经网络模型和一待训练的第二神经网络模型输入相同的待处理对象；其中，所述第二神经网络模型的大小小于所述第一神经网络模型的大小；

获取第一差异和第二差异，其中，所述第一差异为第一神经网络模型的特征层提取的特征与第二神经网络模型的特征层提取的特征之间的差异，所述第二差异为第一神经网络模型的分类层输出的分类结果与第二神经网络模型的分类层输出的分类结果之间的差异；

根据所述第一差异和所述第二差异对所述第二神经网络模型进行网络训练，直至满足预设训练完成条件。

可选地，在本发明上述各方法实施例中，第二神经网络模型的大小小于第一神经网络模型的大小包括：

第二神经网络模型的参数量小于所述第一神经网络模型的参数量；和/或

第二神经网络模型的网络层数小于所述第一神经网络模型的网络层数。

可选地，在本发明上述各方法实施例中，所述第一差异为所述第一神经网络模型的最后一特征层提取的特征与所述第二神经网络模型的最后一特征层提取的特征之间的差异。

可选地，在本发明上述各方法实施例中，获取所述第一差异，包括：

获取所述第一神经网络模型的最后一特征层的特征，以及获取所述第二神经网络模型的最后一特征层提取的特征；

通过迁移代价函数层，获取所述第一神经网络模型的最后一特征层提取的特征与所述第二神经网络模型的最后一特征层提取的特征之间的迁移代价函数值，所述第一差异为所述迁移代价函数值。

可选地，在本发明上述各方法实施例中，所述第一神经网络模型的最后一特征层和所述第二神经网络模型的最后一特征层的维度相同。

可选地，在本发明上述各方法实施例中，所述第一神经网络模型的最后一特征层和所述第二神经网络模型的最后一特征层的维度不相同；

通过迁移代价函数层，获取所述第一神经网络模型的最后一特征层提取的特征与所述第二神经网络模型的最后一特征层提取的特征之间的迁移代价函数值，包括：

通过辅助全连接层将所述第二神经网络模型的最后一特征层提取的特征变换为与所述第一神经网络模型的最后一特征层提取的特征维度一致的特征；

通过迁移代价函数层，获取变换得到的特征与所述第一神经网络模型的最后一特征层提取的特征之间的迁移代价函数值。