[发明专利]基于深浅层特征提取与融合的古董艺术品图像检索方法

权利要求书

1.一种基于深浅层特征提取与融合的古董艺术品图像检索方法，其特征在于，包括以下步骤：

步骤1，深浅层特征提取：使用深层语义特征提取及浅层特征提取两种特征提取网络分别对输入图像进行特征提取，对于每一张输入的查询集与检索集图像，同时经过上下两支特征提取网络分别进行浅层特征的提取与深层特征的编码映射，均获得深层语义特征及浅层特征；

步骤2，特征拼接融合：使用了一个特征拼接“concate”层，直接将深层语义特征及浅层特征表示在通道维度上进行拼接，即输入512×14×14大小与128×14×14大小的两种特征表示，经过特征拼接，输出一个640维的14×14大小的特征表示之后，将进行拼接融合后的综合特征表示，进行降维，得到编码后的查询图像与待检索图像的综合特征；

步骤3，损失函数约束：三元组损失的目标是缩小查询图像特征和待检索库中的正例图像样本特征之间的距离，同时，加大查询图像特征和待检索库中的负例图像样本特征之间的距离，目标如下：

公式1：

公式2：

公式1及公式2中，为第i组的查询图像样本，和分别为待检索图像中正样本和待检索图像负样本，和分别为待检索图像中正样本和待检索图像负样本的特征，a为最小间隔，因此输入为查询图像样本，待检索图像正样本，待检索图像负样本组成的三元组，最后的损失函数，为公式3：

由公式3可以看出，当查询图像样本特征和待检索图像负样本之间的距离较小，和待检索图像正样本之间的距离较大时，L的值会随之增大，减小损失函数的目标将会引导神经网络带来更加理想的表现；

在被搜索域样本选择时，选择较难分辨的样本，其公式如下：

公式4：

公式5：

选择距离查询图像样本最远的正样本和距离最近的负样本作为三元组的输入，对于神经网络而言，如果可以区分“最不像的正样本”和“最相似的负样本”，则表明网络有着较高的区分性；

步骤4，特征匹配：得到查询图像与待检索数据库中图片的相似性度量模型，具体过程如下：

首先使用待检索集图像特征提取网络对数据库中待检索图像进行特征提取与编码，并对提取到的特征进行保存；当输入查询图像时，使用查询图像特征提取网络对其进行特征提取并产生相同维度的查询图像特征，然后将查询图像的特征与数据库中的待检索集图像特征进行相似性度量；最后，根据相似性度量返回排序结果，实现以图搜图任务。

2.如权利要求1所述的方法，其特征在于，所述步骤1中，所述深层语义特征提取，是指查询集与待检索集图像的深层语义特征提取网络中的卷积层与Vgg16的前四组卷积层具有相同的网络配置，即对于每一张经过预处理的3维224×224大小的输入图片，其输出为512维14×14大小的特征矩阵；所述浅层特征提取网络仅有两层卷积层构成，将3维224×224大小的输入图片映射为128维14×14大小的浅层特征表示。

3.如权利要求1所述的方法，其特征在于，所述步骤1中，还包括为了增强查询集与待检索集之间的语义联系，加快网络的收敛速度，对查询集与待检索集的两组特征提取网络使用部分权重共享约束设置。