[发明专利]一种结合图像和实例特征的模糊混合实例搜索方法

权利要求书

1.一种结合图像和实例特征的模糊混合实例搜索方法，其特征在于，该方法包括以下具体步骤：

步骤1：查询模糊混合

在图像库中对实例搜索查询，得到查询图像I，将该查询图像进行模糊增强，使用具有不同模糊度的模拟模糊核，采用模糊化算法将查询图像转换成模糊图像，得到n个不同模糊度的模糊图像I_b1,I_b2,...I_bn；然后，将模糊图像与原始图像进行混合，混合具体包括：

1)像素级混合

以图像的RGB值直接将查询图像及其模糊图像，在每像素模糊图像相加，然后取平均值，得到混合图像；将混合图像作为一个新的查询图像输入到深度卷积神经网络CNN结构中，进行特征抽取；查询图像I在(x,y)像素的RGB值为V^I_x,y，则混合图像I_M的RGB值由以下公式计算：

2)特征级别混合

首先提取查询图像及其模糊图像I_b1,I_b2,...I_bn的CNN特征，然后进行混合；并将新的混合特征作为实际的查询特征用作之后的查询使用；将查询图像I通过CNN抽取的特征用向量F_I表示，其中，每一个维度z为f^z_I；模糊特征的混合分为三个：相加平均和最大值计算公式分别如下：

步骤2：基于图像特征的排序

混合的结果将作为图像特征进入到排序，对整个图像库进行过滤得到一个粗略排序；排序使用以下相似函数，其中F_a为图像a的特征向量，|·|为求内积，·是向量乘法；

根据图像库中的每张图片F_c与混合后的查询图片I_M的向量进行相似度计算，并根据相似度进行排序得到排序结果；

步骤3：基于实例特征的重排序

首先，进行查询扩展QE；QE将在基于图像特征的排序结果中选取排名最靠前的K个结果，作为扩展对象图像；查询图像经过步骤1模糊混合后的全局特征与查询在CNN中区域建议网络RPN特征作为查询特征，执行新一轮的搜索；RPN提供的特征包含图像中的实例特征和ROI区域的特征，表示为R₁,R₂,...,R_m，添加了ROI区域特征的最终特征为ε；应用操作子计算ε，可采用归一化的取最大值、取和或取平均，计算公式为：

再以最终特征ε计算重排序结果，并将靠前的结果作为查询结果。

2.根据权利要求1所述的一种结合图像特征和实例特征的模糊混合实例搜索方法，其特征在于，利用图像特征完成首次排序，再利用实例特征的再次排序进行增强的查询提升。

3.根据权利要求1所述的一种结合图像特征和实例特征的模糊混合实例搜索方法，其特征在于，CNN网络的构建采用计算速度更快的RCNN网络，其中图像特征和实例特征均采用CNN网络中的ResNet主干网络，因此ε的计算在同一网络中获取并计算；特别地，在得到区域建议网络RPN实例特征过程中，采用RCNN的Conv5_3版本，并将它的ROI池层分离后进行特征提取。