[发明专利]一种基于多个语义层次的图片检索方法及系统

权利要求书

1.一种基于多个语义层次的图片检索方法，其特征在于包括如下步骤：

将待检索的图片输入一预训练模型，并输入所述图片的像素值和带有局部区域信息的候选区域，

在所述预训练模型的神经网络中，通过将所述图片中的所述候选区域映射到每一个卷积层输出的卷积特征图上后根据候选区域的大小自适应调整池化核的大小，得到相同维度的所述卷积特征图；

根据所述卷积特征图对低、中、高卷积层进行区域感知的多层次池化计算，再通过串联得到不同层次的特征融合；

根据特征融合结果，对图片进行检索；

通过将所述图片中的所述候选区域映射到每一个卷积层输出的卷积特征图上的具体方法如下：

待检索的图片为原始图片，设原始图片的大小为：W*H，卷积特征图的维度为：W₀*H₀*C，每个区域对应输出的特征图大小为：W_r*H_r*C ，对于一个原始图片的候选区域(x,y,w,h)，进行如下的计算：

其中，表示输出特征图中的某一个特征，表示原特征图中对应区域的特征集合。

2.根据权利要求1所述的图片检索方法，其特征在于，根据候选区域的大小自适应地调整池化核的大小，得到相同维度的所述卷积特征图的方法为：

通过一个多尺度的池化计算提取候选区域不同位置的特征，再经过跨通道的归一化之后，最后通过相加操作得到最后的特征。

3.根据权利要求2所述的图片检索方法，其特征在于，所述多尺度的池化计算提取候选区域不同位置的特征的具体计算方法如下：

其中，表示第c个通道的输出特征，表示不同尺度的集合，其中i,j表示输入特征图的二维坐标，l表示不同的尺度；表示跨通道的归一化。

4.根据权利要求1所述的图片检索方法，其特征在于，所述多层次池化包括：卷积神经网络中的不同层以及卷积特征图中的不同局部区域。

5.根据权利要求1所述的图片检索方法，其特征在于，串联得到不同层次的特征融合时还包括：PCA降维计算。

6.根据权利要求1所述的图片检索方法，其特征在于，所述候选区域包括：图片中包含的特定目标区域。

7.一种基于多个语义层次的图片检索系统，其特征在于，包括：多层次池化单元和不同层次特征融合单元，

所述多层次池化单元，用以将待检索的图片输入一预训练模型，并输入所述图片的像素值和候选区域，

在所述预训练模型的神经网络中，通过将所述图片中的所述候选区域映射到每一个卷积层输出的卷积特征图上后根据候选区域的大小自适应地调整池化核的大小，得到相同维度的所述卷积特征图；

所述不同层次特征融合单元，用以根据所述卷积特征图对低、中、高卷积层进行区域感知的多层次池化计算，再通过串联得到不同层次的特征融合；

通过将所述图片中的所述候选区域映射到每一个卷积层输出的卷积特征图上的具体方法如下：

待检索的图片为原始图片，设原始图片的大小为：W*H，卷积特征图的维度为：W₀*H₀*C，每个区域对应输出的特征图大小为：W_r*H_r*C ，对于一个原始图片的候选区域(x,y,w,h)，进行如下的计算：

其中，表示输出特征图中的某一个特征，表示原特征图中对应区域的特征集合。

8.一种检索系统，其特征在于，包括一检索候选集和如权利要求7所述的基于多个语义层次的图片检索系统，并按照如下步骤操作：

初始化所述检索候选集，提取每张图片的特征后并储存；

通过将待检索的图片输入所述图片检索系统进行特征提取，

在所述检索候选集中计算待检索的图片与预置图片的欧式距离并排序，

返回得到相似图片的检索结果。