[发明专利]一种基于知识蒸馏的素描图处理方法及其系统

说明书

本发明公开了一种基于知识蒸馏的素描图处理方法及其系统，包括：获取预训练的由图像分类模型构成的教师模型，并基于教师模型提取样本图像的教师特征和教师分类概率；构建能够基于素描图进行图像分类的学生模型，并基于学生模型提取样本图像的第一学生特征和第一学生分类概率，并基于学生模型提取样本图像对应样本素描图的第二学生特征和第二学生分类概率；基于教师特征、教师分类概率、第一学生特征、第一学生分类概率、第二学生特征和第二学生分类概率计算分类损失和蒸馏损失，并基于分类损失和蒸馏损失更新学生模型；学生模型基于待检测素描图和待查询图像生成零样本跨模态检索结果。

技术领域

本发明涉及机器学习技术领域，具体涉及一种基于知识蒸馏的素描图处理方法及其系统。

背景技术

随着触摸屏设备的普及，手绘素描图变得越来越容易获取。尽管素描图表现出高度的抽象性，但它仍然包含足够的结构细节来描述其相应的类别。因此，基于素描图的图像检索成为了机器学习技术领域的研究热点。

但是，现有的基于素描图的图像检索方法，均预设实际应用时待查询的素描图和被查询的图像所包含的类别和训练模型时的类别完全一致，未考虑待查询的素描图和被查询的图像所包含的类别未包含在训练模型时的类别中的情况。因此，这些方法难以应用于检索训练时未包括的类别的图像，检索结果较差。

综上所述，现有的素描图检索方法存在准确率低下的问题。

发明内容

有鉴于此，本发明提供一种基于知识蒸馏的素描图处理方法及其系统，解决了现有的素描图检索方法存在的准确率低下的问题。

为解决以上问题，本发明的技术方案为采用一种基于知识蒸馏的素描图处理方法，包括：获取预训练的由图像分类模型构成的教师模型，并基于所述教师模型提取样本图像的教师特征和教师分类概率；构建能够基于素描图进行图像分类的学生模型，并基于所述学生模型提取所述样本图像的第一学生特征和第一学生分类概率，并基于所述学生模型提取所述样本图像对应样本素描图的第二学生特征和第二学生分类概率；基于所述教师特征、所述教师分类概率、所述第一学生特征、所述第一学生分类概率、所述第二学生特征和所述第二学生分类概率计算分类损失和蒸馏损失，并基于所述分类损失和所述蒸馏损失更新所述学生模型；所述学生模型基于待检测素描图和待查询图像生成零样本跨模态检索结果。

可选地，基于所述教师特征、所述教师分类概率、所述第一学生特征、所述第一学生分类概率、所述第二学生特征和所述第二学生分类概率计算分类损失和蒸馏损失，包括：基于所述教师特征、所述教师分类概率、所述第一学生特征和所述第一学生分类概率计算所述样本图像的第一分类损失和关系蒸馏损失；基于所述第二学生分类概率计算所述样本素描图的第二分类损失；基于第一学生特征和所述第二学生特征的相似性计算所述样本素描图的跨模态自蒸馏损失。

可选地，计算所述样本图像的第一分类损失，包括：基于所述教师分类概率和所述第一学生分类概率计算所述第一分类损失。

可选地，计算所述样本图像的关系蒸馏损失，包括：计算多个所述教师特征之间的第一相似关系；计算多个所述第一学生特征之间的第二相似关系；计算所述第一相似关系和所述第二相似关系的第一差异；计算所述教师分类概率和所述第一学生分类概率的第二差异；基于所述第一差异和所述第二差异生成所述关系蒸馏损失。

可选地，计算所述样本素描图的跨模态自蒸馏损失，包括：计算多组所述第一学生特征与所述第二学生特征之间的相似度数据；基于所述相似度数据按照滑动平均的方式加权所述第一学生分类概率；基于加权后的所述第一学生分类概率与所述第二学生分类概率生成所述跨模态自蒸馏损失。

可选地，所述第一相似关系和所述第二相似关系均包括对比相似关系和局部相似关系。

可选地，所述素描图处理方法还包括：获取人工绘制的所述样本素描图及成像单元采集的与所述样本素描图对应的所述样本图像构成训练数据集。