[发明专利]一种基于深度特征与底层特征融合的图像检索方法

权利要求书

1.一种基于深度特征与底层特征融合的图像检索方法，其特征在于，将深度神经网络ResNeXt101的Conv_4、Conv_5两个卷积层提取的特征分别进行归一化、自适应加权、求和池化，将两层特征通过concat融合方式进行融合，得到融合后的深度特征；然后提取底层SIFT特征，将提取到的底层SIFT特征和深度特征进行融合；使用三元组损失训练出最优模型，在人脸数据集上对算法进行测试，使用平均检索精度评估算法性能，具体包括以下步骤：

步骤1、将深度神经网络的两个卷积层提取到的特征分别进行归一化、自适应加权、求和池化；

首先从ResNeXt101中删除最后一个池化层、预测层和损失层，然后通过ROI感兴趣区域函数对两个层进行处理，采用以下公式：

ζ:R^w,h,d→R^r×d

ROI函数ζ使用刚性网格将大小为w×h×d的输入张量拆分为r个重叠的空间块，并在区域内执行空间最大池化，为每个区域生成一个单独的d维向量；ROI块从CNN响应图中提取出不同尺度的正方形区域，由ROI块提取的区域数r取决于图像大小和比例因子S，R为特征输入张量；

深度特征部分架构通过并行散度引导的ROI流对不同的CNN层输出执行单独和不同的转换；每一个流取某个CNN层的卷积输出作为输入，并对其执行ROI池；ROI池的输出向量是L2标准化的、加权的，并且线性组合成一个单一的聚合表示；设o＝f_l'(x),o∈R^w,h,d为给定输入图像x的CNN卷积层的输出张量；然后给ROI块，将输入张量拆分并在区域内执行空间最大池化，为每个区域生成单独的d维向量ζ(o)，接着使用L2块进行标准化，结果表示为：r＝L2(ζ(o))；然后通过加权求和进行区域向量的线性组合：

其中i表示每个区域块，r(i)表示特征图中每个区域块经过ROI、L2后的特征向量，r代表区域块数量，α_i代表每个区域块的权重，W(r)表示区域向量的线性组合；

ROI流可由以下函数组合定义：

P(x；l',α)＝W(L2(ζ(f_l'(x)))；α)

式中：α代表权重，x表示输入图像，f_l'(x)表示输入图像x的CNN卷积层的输出张量，ζ为ROI函数，L2表示标准化函数，W表示区域向量的线性组合，P表示经过ROI、L2之后的特征输出向量；

线性组合权重集表示为{α₁,α₂,...,α_r}，线性组合权重以不同的初始化，固定为常数，使用随机梯度下降算法加快模型学习，权重在每一次迭代过程中更新学习；确定相对熵权的算法包括以下步骤：(1)尺寸为1024×768×3的图像通过离线ResNeXt101CNN传输；(2)来自最终卷积层的特征随后被传递到ROI块，该块将大小为32×24×2048的输入张量拆分为40个空间块，并在区域内执行空间最大池化，为每个区域/层生成单个2048维向量，(3)针对每个区域和每个层，分别计算Pr(y/m)和Pr(y/n)作为匹配和非匹配描述符对观测欧氏距离y的概率密度函数；利用KL散度测度计算匹配与非匹配概率密度分布的可分性；KL散度加权层(KLW)是通过卷积运算实现的，该卷积运算的权值通过对三重态损失函数的随机梯度下降来学习；

步骤2、将两个卷积层提取到的特征进行融合，得到融合后的深度特征；

使用concatenate函数来实现Conv_4、Conv_5的融合；Concatenate函数是通道数的合并，描述图像本身特征数的通道数增加了，而每一特征下的信息是没有增加；按照以下公式：

式中：两层输入的通道分别为X₁,X₂,...,X_c和Y₁,Y₂,...,Y_c，*表示卷积，K_i、K_i+C代表不同特征图每个通道对应的卷积核,i代表特征图的每个通道,C代表特征图的通道数，Z为融合后的特征；

步骤3、提取输入图片的SIFT特征；

第一步利用公式L(x,y,σ)＝G(x,y,σ)*I(x,y)生成尺度空间；

L(x,y,σ)是二维图像尺度空间，G(x,y,σ)是尺度可变高斯函数，I(x,y)代表输入图像，(x,y)是空间坐标，σ是尺度坐标，σ的大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征，*代表卷积；然后构造高斯差分尺度空间：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ)

上式中：D(x,y,σ)表示DOG图像；

第二步通过将每一个采样点与其所有相邻点比较来检测尺度空间极值点；

第三步通过拟合三维二次函数以精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力；

第四步利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性，m(x,y)为关键点的梯度幅值，θ(x,y)为关键点的梯度方向；

θ(x,y)＝atan2((L(x,y+1)-L(x+1,y))/(L(x+1,y)-L(x-1,y)))；

步骤4、将SIFT特征和深度特征进行特征归一化、PCA白化、特征加权；

检索图片分别提取图片的深度特征和SIFT特征；然后对两种特征进行处理，经过归一化，PCA白化再归一化的处理后两种特征的维度相同，每个特征维度的取值范围和方差一致；

步骤5、将深度特征和底层SITF特征进行融合；

将经过特征处理后的两种特征进行串联，得到一个融合特征向量；设置深度特征的权重为α，深度特征向量为F_R，SIFT特征权重为1-α，特征向量为F_V，加权串联得到特征向量F：

F＝(αF_R,1-αF_V)

根据特征的效果调节α值的大小，可以改变融合特征中特征的重要程度；两种特征融合成一个全局特征，保留了两种特征的特性；

步骤6、将人脸数据集分为训练集和验证集，训练该模型，在人脸数据集上对算法进行测试，评估算法性能。