[发明专利]一种基于深度激活显著区域的实例检索方法

权利要求书

1.一种基于深度激活显著区域的实例检索方法，其特征在于包括以下步骤：

1)模型设计：所述模型包括三部分，前向传播模块对深度模式进行挖掘，为模型的第一部分；模式定位模块主要负责激活显著区域并进行区域形状估计来定位实例，为模型的第二部分；特征提取模块通过区域池化提取实例级的特征，为模型的第三部分；将图片作为输入，输出图片中检测到的实例的定位信息及对应的特征，参与后续的检索部分；

2)数据预处理：对于给定的图像数据库，数据库中的每张图片都作为模型的输入，提取输出的实例定位结果和对应的实例级特征，保存以备用；

3)实例检索：对于每个查询图片，将其作为深度模式挖掘模块的前向传播部分的输入，用给定的查询实例的区域进行区域性实例特征的提取，然后将该实例特征与模型在数据库图片上提取出的所有实例级特征进行相似度对比，每张数据库图片中相似度最高的区域即为该图上实例检索的结果，该区域对应的相似度即为这张图片的相似度，数据库所有图片按照相似度从高到低依次排列，得到整个数据库的实例检索的结果。

2.如权利要求1所述一种基于深度激活显著区域的实例检索方法，其特征在于在步骤1)中，所述模型设计采用深度学习技术中流行的残差网络(ResNet-50)，该网络全连接层之前的全卷积结构作为卷积神经网络骨架，不进行额外训练，直接使用预训练的残差网络权重；模型设计的具体步骤包括：

首先，网络接受一幅输入图像，通过上述网络结构，得到最后一个卷积层的输出张量，记为X∈R^W*H*C，其中W和H分别为输出张量的宽和高，C为输出张量的通道数；通过在通道维度上对求平均得到平均响应图来挖掘输入图片上激活的位置；平均响应图的值反应了输入图片各处对深度激活模式的响应得分；上的峰点处即为响应最高处；这些局部极值点所对映的输入图像的区域是最有可能存在实例的区域；

在模式定位模块中，在每一个峰点处提取出上对应的C维向量并对其进行反向传播来激活显著区域，得到在输入图像上与该峰点对映的区域，然后对该区域进行形状估计完成定位；此处反向传播可以近似表达为一个逐层求解条件概率的过程；下面给出对卷积结构中某一个卷积层进行反向传播的具体操作，其他层的传播依该方式进行；设有卷积层的输入张量、输出张量、卷积核，以及反向传播到该层时已知的对上的结果P(B)，其反向传播的过程表示为：

其中传递概率为：

其中，为正则化项，使对A上任意一点的传递概率总和为1；F_x-i,y-j为卷积核上与A_x,y及B_i,j相关的值；对于平均响应图上的某一个点，经迭代上述过程传播到输入层时得到的激活概率图记为；反映了输入图像上与该峰点有关的深度激活显著区域；将激活概率图的值正则化至[0,1]，对值大于0.1的所有像素点r(x,y)，通过计算图像二阶矩进行区域的形状估计；图像二阶矩的计算如下：

通过上述二阶矩计算得到深度激活显著区域的近似椭圆的参数，椭圆的外接矩形即为最终定位结果；

上述定位过程同样被应用到了平均响应图上除峰点外的其他位置；在所有对深度激活模式响应大于的均值的位置上，通过反向传播得到的定位结果和每个位置所对应的深度激活模式响应得分一起，进行一个非极大值抑制过程来筛选得到最终的定位结果；在每个定位结果区域上提取特征，即可得到实例级特征用以进行后续检索。