[发明专利]一种基于深度学习的服装检索方法

摘要

本发明公开了一种基于深度学习的服装检索方法，该方法利用可变形卷积网络和相似性学习网络实现服装检索功能，设置了包含可变形卷积网络和相似性学习网络的两阶段学习架构，在可变形卷积网络中，学习并提取服装特征，利用哈希编码对特征进行表达，进一步在相似性学习网络中，对哈希编码特征进行比对，获得特征的相似性比对评分结果，该方法能够有效地检索出各种形状特征的服装目标，得到视觉一致性的检索结果。

主权项

1.一种基于深度学习的服装检索方法，其特征在于，该方法输入分辨率为f×f的RGB图像I，100≤f≤1000，具体包括以下步骤：步骤1：构建服装数据集F从taobao.com网站收集J个单件服装样例，10000≤J≤15000，将收集的J个单件服装样例与http：//mmlab.ie.cuhk.edu.hk/projects/DeepFashion.html提供的DeepFashion数据集合并，得到包含有M个单件服装样例的初始数据集T，80000≤M≤100000，利用T构建服装样例数据集R，R中服装种类数目为U，15≤U≤20，每个服装样例是同一件服装的采样信息，其包含三类信息：具有环境背景的一幅服装图像B、该服装无环境背景的多幅图像{E_k|2≤k≤10}以及此件服装的种类标签O_i，1≤i≤U；构建服装数据集F：F的每个样本的形式定义为三元组(P_i，Q_i，l_i)，1≤i≤500000，其中，P_i是从R中选取的B，将其尺度缩放为N×N，N为227、454或者908，Q_i是从R中选取的任意样例数据的无环境背景服装图像，将其尺度也缩放为N×N，l_i是P_i与Q_i相似性标签，l_i取值为0或者1，当P_i与Q_i来自于R的同一组样例时，即是相同服装的两幅图像时，l_i取1，否则取0；步骤2：构建神经网络神经网络构建分为服装特征学习网络F‑Net及相似性学习网络S‑Net；对于F‑Net，先从F中选取P_i或者Q_i作为输入，其尺度为227×227，张量形状为227×227×3，F‑Net网络的输出有两个部分：一个是来自于F‑Net中间层的哈希编码，即P_i的哈希编码H_p或者Q_i的哈希编码H_Q，张量形状为h×1，h为64、128或者256，另一个输出是网络最后一层输出的P_i或者Q_i的服装类别特征，张量形状为U×1；对于S‑Net，输入的是两个哈希编码H_p及H_Q，输出的是P_i与Q_i相似性的比对结果C，其张量形状为2×1，张量的两个分量分别表示P_i与Q_i之间的相似程度及不相似程度，相似程度记为评分V；对于F‑Net设置为5个卷积层和4个全连接层，对于前三层卷积得到的特征分别增加一个偏移量，偏移量的张量尺度与特征尺度相同；5个卷积层设计为5个卷积子结构，各层卷积核的个数依次为96、256、384、384、256，前3个子结构都包括以下序列操作：卷积、批归一化、加上偏移量、激活、最大池化，后2个子结构都包括以下序列操作：卷积、激活、最大池化，4个全连接层的神经元的个数分别为4096、4096、h、U，倒数第二层全连接层的神经元个数为h，这一层得到的特征是输入图像的哈希编码结果，最后一层全连接层的神经元个数为U，这一层输出的特征是服装类别特征，F‑Net中都采用ReLU激活函数进行处理；对于S‑Net设置为3层全连接结构，神经元的个数分别为G、G、2，其中G为512、1024或者2048，前两个全连接层输出的结果进一步采用ReLU函数进行激活；步骤3：神经网络的训练将数据集F中的样本按照7∶1∶2比例划分为训练数据集，评估数据集和测试数据集，利用训练数据集训练网络模型，利用评估数据集评估训练过程中网络的性能，利用测试数据集对网络性能进行测试；首先对F‑Net训练50000轮次，训练结束后，再对S‑Net进行训练50000轮次，在训练S‑Net时，每次训练过程需要输入的是P_i及Q_i的编码H_P和H_Q；在对F‑Net进行训练时，损失函数e_F定义为：其中，a_i是F‑Net在最后一个全连接层的U个神经元中得到的第i个类别特征；在对S‑Net进行训练时，损失函数e_S定义为：其中，b_i是S‑Net在最后一个全连接层的2个神经元中得到的类别特征，其形状为2×1，y_i表示P_i及Q_i的相似性，y_i形状为2×1，它的两个分量分别表示P_i与Q_i之间的相似程度及不相似程度的标签，如果相似，相似程度的分量取1，不相似程度的分量取0，而当P_i与Q_i不相似时，相似程度的分量取0，不相似程度的分量取1；步骤4：服装检索操作构建一个服装检索数据集S，其中服装分辨率为f×f，100≤f≤1000，将S中的每一幅服装图像都缩放为227×227，再将S中的每幅图像依次输入到F‑Net，分别得到每幅图像的哈希编码，并写入磁盘文件code.txt进行保存；从数据集S中选取I，根据I到磁盘文件code.txt中检索I的哈希编码K，K与磁盘文件code.txt中每个服装的哈希编码，分别多个哈希编码对，将这些哈希编码对依次输入到S‑Net中进行预测，得到每次比对的相似性评分，再将这些评分进行降序排列，从中选取最优的检索结果。