[发明专利]基于语义对抗网络的零样本草图检索方法

说明书

本发明提出了一种基于语义对抗网络的零样本草图检索方法，主要解决现有技术草图类内方差较大和零样本设置下视觉知识难以从已知类迁移到未见类的问题。其方案为：获取训练样本集；构建语义对抗网络，通过VGG16网络提取RGB图像特征；构建生成网络以生成具有判别性的RGB图像特征；将待检索的草图输入语义对抗网络生成语义特征，将语义特征和随机高斯噪声输入生成网络中生成RGB图像特征，在图像检索库中寻找与RGB图像特征最相似的前200张图像得到检索结果。本发明降低了草图图像特征的类内方差，能保证每个类别中根据草图图像生成的RGB图像特征，提高了零样本草图检索的检索性能，可用于电子商务、医疗诊断、遥感成像。

技术领域

本发明属于图像处理技术领域，特别涉及一种零样本草图检索方法，可用于电子商务、医疗诊断、遥感成像。

背景技术

草图检索是指根据手绘草图检索真实的自然图像。零样本草图检索方法是一种对未知类别的手绘草图进行真实自然图像检索的方法。现有的草图检索方法主要分为两类：基于人工设计的特征和基于深度学习的方法。其中基于人工设计特征方法包括梯度场HOG描述子、SIFT描述子，而基于深度学习的方法则包括孪生网络、三元组网络、深度草图哈希等，它们的主要思想都是提取图像或者文本信息的判别性特征，然后投影到共同的特征空间中进行相似性度量。但是现有的草图检索方法的前提是所有类别在训练阶段必须都是已知的，这样就无法保证训练数据的规模能够覆盖现实场景中的所有类别，所以当测试未见类别时，检索性能将急剧下降。同时不同的人对草图有不同的理解，导致绘制的草图的类内方差较大，草图检索的任务也更具挑战性。

零样本草图检索就是在零样本的设置下实现从已知类别到未见类别的视觉知识迁移，从而解决现有草图检索的问题。当前，研究人员已经提出两种零样本草图检索的方法，例如，Yuming Shen和Li Liu等人在2018年的Computer Vision and PatternRecognition会议上发表的名为“Zero-Shot Sketch-Image Hashing”的文章，公开了一种零样本草图哈希检索方法，该方法构建了一个端到端的三网络框架，其中前两个网络为二进制编码器，第三个网络利用克罗内克融合层和图卷积，减轻草图图像的异质性，增强数据间的语义关系，同时文章还提出了一种哈希生成方法，用于重建零样本检索的语义知识表示；Sasi Kiran Yelamarthi等人在2018年的European Conference on Computer Vision会议上发表的名为“A Zero-Shot Framework for Sketch-Based Image Retrieval”的文章，公开了一种基于对抗自动编码器和变分自动编码器的深度条件生成模型的方法，该方法将草图特征向量作为输入，使用生成模型随机填充缺失的信息来生成自然图像特征向量，然后利用这些生成的自然图像特征向量从数据库中检索图像。尽管上述方法取得了良好的性能，但这两种方法由于都没有考虑到草图类内方差较大的问题，因而通过预训练的卷积神经网络提取出的语义信息的判别能力较弱，且难以准确地将草图的视觉知识从已知类迁移到未见类。

发明内容

本发明的目的在于克服上述已有技术存在的不足，提出一种基于语义对抗网络的零样本草图检索方法，以通过预训练的卷积神经网络提取出较好的判别性语义信息，准确地将草图的视觉知识从已知类迁移到未见类。

本发明的技术思路是，通过采用端到端的语义对抗网络中的语义对抗模块来学习草图的语义特征，降低了草图特征的类内方差；通过在生成模块中加入三元组损失，保证每个类别中生成的RGB图像特征的可判别性，从而解决了零样本设置下视觉知识难以从已知类迁移到未见类的问题。

根据上述思路，本发明的实现步骤包括如下：

(1)获取训练样本集：