[发明专利]一种大规模图片多尺度语义检索方法

权利要求书

1.一种大规模图片语义检索方法，其特征是使用无监督的深度学习模型来训练网络获取图片的特征向量，并综合考虑图片的文本描述之间的语义关系来实现大规模的图片的检索；

对于图片的特征向量的处理，采用一个4-6层判别网络4-6层生成网络组成的生成式对抗网络，用来提取图片的特征；

对于图片的文本的处理，采用词向量的分布式表示方法得到图片向量，利用单词嵌套来描述图片的语义信息；

采用聚类方法来对检索的图片进行聚类，通过聚类来向用户只展示某类商品中的一个，减少用户的查找商品的时间；使用聚类方法为k-means++方法；

在得到图片向量之后，通过计算与所要查找的图片计算相似性，找出相似性大于0.5的图片作为候选；

然后通过训练好的词向量得到图片文本描述向量；将文本向量和图片的向量连接在一起作为图片的特征表示；之后通过k-means++对图片进行聚类，在每个聚类中找出一张图片展现给用户，若用户想要查看这张图片所在的聚类的所有图片，则点击该张图片，则能看到所有的图片。

2.根据权利要求1所述的大规模图片语义检索方法，其特征是对于图片的特征向量的处理中，利用生成式对抗网络中的判别网络获得图片的特征表示，然后通过特征之间的相似性找出相似的图片；同时，利用词向量获取图片文本描述的向量表示；然后将图片的向量和图片的文本描述连接在一起作为该张图片的表示，然后使用k-means对图片进行聚类，从每个类别中选择出来一张展示给用户。

3.根据权利要求2所述的大规模图片语义检索方法，其特征是具体的实施分为训练和生产环境两个步骤；训练步骤是训练生成式对抗网络；训练时使用tensorflow模型平台，训练时采用的判别网络为一个卷积神经网络，生成网络为一个反卷积神经网络；

使用5层判别网络和5层生成网络，5层判别网络和5层生成网络组成的生成式对抗网络中，生成网络的输入为100维度的随机向量，输出为一张64*64*3的图片；判别网络的输入为64*64*3的一张图片，输出为一个0到1之间的数，表示该图片为真实图片的概率；

在训练中，分别通过最小化真实图片的损失和生成图片的损失来形成对抗；网络中使用了batch normalization来解决网络训练中的梯度爆炸和梯度消失的问题，取消全连接层来提高网络的收敛速度；在网络训练结束后，判别网络的倒数第二层的输出作为图片的特征，根据图片之间的特征相似度将图片挑选出相似度较高的部分图片。

4.根据权利要求1所述的大规模图片语义检索方法，其特征是在词向量的训练中，图片对应的商品的文本描述作为输入，输出则是每个单词所对应的向量；然后将每张图片的文本描述的所包含的单词向量进行相加得到该张图片的语义表示。

5.根据权利要求1所述的大规模图片语义检索方法，其特征是上述的聚类的方法是为了在向用户进行展示的时候，对于同一类的图片只展示其中的一张，减少用户的查找负担；

k-means++和k-mean相比，使得初始化聚类中心时，使得聚类中心之间的距离的较远，对k-means方法进行了改进；

在训练完成之后，得到训练之后的模型，然后利用训练好的模型建立一个标准的tensorflow模型的server；在实际的应用中，每次可以向这个server发送一张或一批图片来获取图片的向量。