[发明专利]神经网络训练方法、图片分类方法及图片分类系统

说明书

本发明公开一种神经网络训练方法、图片分类方法及图片分类系统。神经网络训练方法包括：S1:准备数据集：源域图片和目标域图片；S2:特征抽取：将源域图片和目标域图片输入至第一神经网络，得到源域特征SF1和目标域特征TF1；将源域图片和目标域图片输入至第二神经网络，得到源域特征SF2和目标域特征TF2；S3:分别计算源域和目标域在第一神经网络和第二神经网络的TDA损失，得到第一神经网络的TDA损失TDA1和第二神经网络的TDA2；S4:计算源域和目标域的知识蒸馏损失；S5:分别对第一神经网络、第二神经网络进行更新。本申请既可以压缩模型参数又可以提升准确率，有效解决领域漂移问题。

技术领域

本发明涉及信息检索技术领域，尤其涉及一种神经网络训练方法、图片分类方法及图片分类系统。

背景技术

深度学习是从数据中学习的一种技术，目前在业界得到广泛的应用，基于深度学习的图片分类具有较高的准确率。

深度学习之所以强大，是因为其可以从数据中能够学习到特征，从而挖掘新的规律，但深度学习也有其局限性，只适用于其在和训练集的数据里相似特征的，当同样的深度学习网络或者模型应用在新的领域时候，还得需要重新进行训练或者调整。也就是说迁移到新的领域或者当出现的新图片，此在原来训练集中都没有出现过的领域则识别不出来。

为了解决深度学习的局限性，目前的unsupervised domain adaptation(UDA)领域自适应是一种提升不同领域图片分类准确率的算法。但目前UDA只能是一种领域迁移到另外一种领域，属于一对一的迁移,而且但是由于模型比较大，推理速度慢。

发明内容

本发明为解决现有技术中存在的技术问题，提出一种神经网络训练方法，包括步骤：

S1:准备数据集：源域图片和目标域图片；

S2：特征抽取：

将源域图片和目标域图片输入至第一神经网络，得到源域特征SF1和目标域特征TF1；

将源域图片和目标域图片输入至第二神经网络，得到源域特征SF2和目标域特征TF2；

S3：分别计算源域和目标域在第一神经网络和第二神经网络的TDA损失，得到第一神经网络的TDA损失TDA1和第二神经网络的TDA2；

S4：计算源域和目标域的知识蒸馏损失；

S5：分别对第一神经网络、第二神经网络进行更新。

所述第一神经网络为EfficientNetV2。

所述第二神经网络为EfficientNetV2。

步骤S4：计算源域知识蒸馏损失SKD和目标域的知识蒸馏损失TKD，知识蒸馏的损失函数为KL loss，其公式可以表示为：

L_d＝L_kl(N1(D，t)，N2(D，t))

其中，N1(D，t)第一网络，N2(D，t)第二网络，D为数据集，t为温度。

S5：对第一神经网络进行更新，使用TDA1损失，通过误差反向传播进行更新。

S5：对第二神经网络进行更新，使用SKD，TKD和TDA2加权求和，并通过误差反向传播进行更新。

本发明还提供一种图片分类方法，包括步骤：

接收输入的图片；

神经网络模型对图片进行分析并分类；

返回输出结果，

所述神经网络为所述神经网络训练方法得到的神经网络模型。