[发明专利]一种基于图像生成模型的视觉搜索目标解码方法

说明书

技术领域

本发明涉及视觉搜索领域，尤其是涉及了一种基于图像生成模型的视觉搜索目标解码方法。

背景技术

随着移动设备的普及，搜索的过程逐渐从PC端转移到了移动设备中，这种从WEB到APP的搜索转变更加符合人们随时随地搜索的特性，人们也在努力思索如何让搜索更自然化，毫无疑问，更加自然的搜索模式将会取代传统的搜索。因此，除了声音搜索、文字搜索外，现在又出现了一种新的自然搜索模式——视觉搜索。视觉搜索就是从候选的图片库中找到那些与查询图片包含相同物体的图片，这可以应用在商品搜索、车辆搜索、图片素材搜索、书籍CD等的搜索和基于图像的地理位置识别等。如今越来越流行的移动商品图像搜索就是通过分析利用手机相机拍摄的商品照片，从商品库中找到相同或相似的商品，帮助用户买到更加心仪、价格更低的产品。然而，传统的识别方法需要使用训练分类器来识别用户的搜索目标，效率低，搜索结果准确度不高。

本发明提出了一种基于图像生成模型的视觉搜索目标解码方法，先从凝视数据中重建搜索目标，再使用后验类作为注视编码，并对它们的生成模型进行调整，再将凝视数据集成到卷积神经网络中，以预测搜索目标的类别和属性；用凝视持续时间来计算凝视图像的后验加权平均值，用不同的修剪策略抑制语义表示中的弱激活，解决噪声问题。本发明不需要使用训练分类器来识别用户的搜索目标，通过图像生成模型，多次观察并进行聚合和提取信息，从而有效识别图像，准确获取图片，从而大大提高效率。

发明内容

针对效率低、搜索结果准确度不高的问题，本发明的目的在于提供一种基于图像生成模型的视觉搜索目标解码方法，先从凝视数据中重建搜索目标，再使用后验类作为注视编码，并对它们的生成模型进行调整，再将凝视数据集成到卷积神经网络中，以预测搜索目标的类别和属性；用凝视持续时间来计算凝视图像的后验加权平均值，用不同的修剪策略抑制语义表示中的弱激活，解决噪声问题。

为解决上述问题，本发明提供一种基于图像生成模型的视觉搜索目标解码方法，其主要内容包括：

(一)语义凝视编码器；

(二)视觉搜索目标解码器；

(三)修剪策略。

其中，所述的视觉搜索目标解码，凝视编码用于将原始凝视数据编码为语义分类空间；生成图像模型根据编码的注视数据进行调节，以解码用户的可视搜索目标；

参与者在拼贴图像I中搜索目标类别在搜索任务期间，用户执行F(I,C,P)＝(x_i,y_i,t_i),i＝1,…,N，其中每个注视是屏幕坐标的三分之一位置x_i,y_i，注视持续时间为t_i；目标是从下式中对目标类别c的视觉搜索目标ST进行采样；

其中，P(c|F(I,C,P))对应于将注视数据编码成c和P(ST|c)的语义空间，从该语义空间到视觉搜索目标的解码。

进一步地，所述的视觉搜索目标，将凝视数据集成到卷积神经网络中，以预测搜索目标的类别和属性；使用凝视池作为凝视编码器，第一步是先从凝视数据中重建搜索目标。

其中，所述的语义凝视编码器，用固定密度图(FDM)表示固定：

其中，每个凝视f由在凝视点FDM(f)的位置处的凝视方差的高斯空间分布表示；然后将FDM与视觉特征F(I)组合，从凝视池层中的GAP深度学习架构获得；通过FDM和F(I)的元素乘法完成积分：

为了得到最终的类预测，将加权特征图进行平均，并将其馈送到完全连接层和softmax层中：

p(C|I,F)＝softmax(WGAP_GWFM(I,G)+b) (4)

其中，W是学习权重，b是偏差；使用后验类作为注视编码，并对它们的生成模型进行调整。

其中，所述的视觉搜索目标解码器，为了对用户的视觉搜索目标进行采样，采用一个生成图像模型，根据通过凝视池层和潜在随机变量z预测类别后验。

进一步地，所述的类别条件图像生成模型，给定类别矢量和潜在变量目标是建立一个生成图像的生成模型p_θ(x|y,z)；

生成的图像根据分类信息和潜在变量进行调节；在条件变分自动编码器中，引入辅助分布q_φ(z|x,y)，以逼近真实后验分布p_θ(z|x,y)。