[发明专利]一种基于双路径深层语义网络的手绘式服装商品图像检索方法

权利要求书

1.一种基于双路径深层语义网络的手绘式服装商品图像检索方法，其特征在于：以手绘服装草图和服装图像为数据集，建立双路径的深层语义特征提取的网络架构模型；并建立基于跨域语义特征相似性度量的深度排序模型，将两个不同领域的特征映射到同一个语义空间；并建立出一套跨域语义特征相似性的计算准则，进行相似性的度量；若两者达到设定的相似度，则反馈服装图像的信息，实现手绘服装草图对服装图像的跨域检索。

2.根据权利要求1所述的方法，其特征在于，包括以下步骤：

(1)构建深度神经网络模型：

分别建立手绘服装草图和服装图像的数据库，并且对手绘服装草图和服装图像的服装类别和服装部件进行标记；将标记好的手绘服装草图的服装类别和服装部件作为一个深度神经网络的训练输入，将标记好的服装图像的服装类别和服装部件作为另一个深度神经网络的训练输入；

每个深度神经网络路径分别用来学习和输出该领域数据所对应的高层语义特征；在深度神经网络结构的设计中，利用多层感知机来代替传统卷积层的线性卷积操作；

在训练的过程中，加入数据库中手绘服装草图和服装图像中所标记好的服装部件，并且通过在深度神经网络结构中叠加一个空间金子塔池层来处理不同尺度下的服装部件图像；

训练完成后，将得到的服装整体图像的深层语义特征以及各个服装部件图像的深层语义特征采用双线性的方式进行组合，构成一个特征向量作为输出，最后将所有特征向量构建成特征向量数据库；

(2)构建深度排序网络模型排序模型：

首先在深层语义特征提取的基础上构建一个三元采样层作为整个排序网络模型的数据输入，在每批训练的过程中选择只有分别选择手绘服装草图、与手绘服装草图具有相同深层语义特征的服装图像、和与手绘服装草图具有不同深层语义特征的服装图像作为三个样本的子集进行训练；

然后，将这三元样本所提取的深度特征连接在一起输入到中间的隐藏层，从而将训练样本所提取的深层语义特征映射到同一度量空间；

最后通过排序层来计算整个网络的损失函数，从而使得排序损失值达到最小，进而完成对深度排序网络的训练；

(3)在测试阶段，对于用户输入的任一查询手绘草图，都以训练好的深度语义网络提取出它的语义特征，再通过深度排序网络学习到的损失函数来计算手绘草图与数据库中服装图像的排序损失值，按照总评分对检索到的服装商品图像进行升序排序，将前200个图像返回给用户，分页将相应缩略图呈现在浏览器中，即完成了一次检索过程。

3.根据权利要求2所述的方法，其特征在于：手绘服装草图的数据库包括不同风格、类型的手绘服装草图；服装图像的数据库包括不同类别、款式的服装图像。