[发明专利]一种利用内容环绕信息提取图像表征的特定对象检索方法

说明书

技术领域

本发明涉及图像内容检索领域，尤其是涉及了一种利用内容环绕信息提取图像表征的特定对象检索方法。

背景技术

基于内容的图像检索是大规模数字图像内容检索的分支，近年来吸引了广泛关注。在如今时代，随着网页内容、移动互联网的快速发展，图像以海量级别增长，以社交领域新浪微博为例，每月活跃用户上传照片数以亿计，以购物平台淘宝为例，其后台储存图片达300亿张。显而易见，如今在数字图像领域，限制发展的不再是储存容量、传输速度，而是检索能力，因此这个问题的解决，将在人机交互领域、远程服务器内容搜查，特别在远洋深海中有着极大的应用前景，例如长距离大面积的船舶定位、安全航道轨迹的统计，甚至在国际海洋权益的争议中，实现侵权目标的快速查找和有效识别分析，可以为海洋执法机构提供证据或决策依据。

如何在海量的图像中迅速找到自己所需内容，已经成为了当今的挑战。由于特定内容检索需要海量数据建模，同时不同嵌体的检索图像其上下文环境内容信息不尽相同，因此非感兴趣区域之外的信息如何处理才能提高检索的精度给任务造成了一定难度。

本发明提出了一种基于深度卷积网络进行图像内容信息表征的新框架。使用已经预训练的深度卷积网络进行网络截取，将得到的特征图通过不同通道叠加的方让其张量从三维转换为二维，接着将得到的中间结果进行固定等长度编码，使之成为特征向量，进行L2范数的归一化处理后，图像之间通过点积运算计算相似性。本发明可以处理检索图像中特定物体的提取与比较，同时根据现实情况利用上下文环境信息，极大程度上提高检索精度。

发明内容

针对解决在海量图像中寻找特定目标的检索问题，本发明的目的在于提供一种利用内容环绕信息提取图像表征的特定对象检索方法，提出了一种基于深度卷积网络进行图像内容信息表征的新框架。

为解决上述问题，本发明提供一种利用内容环绕信息提取图像表征的特定对象检索方法，其主要内容包括：

(一)卷积网络结构；

(二)区域卷积特征最大值；

(三)环绕内容信息提取；

(四)带权重的区域卷积特征最大值。

其中，所述的卷积网络结构，采取总共34层的预训练卷积网络拓扑，具体为：

(1)输入图像；

(2)首先经过卷积核为7×7、特征图数为64个的卷积层共1层；

(3)继续经过采样率为二分之一的池化层共1层；

(4)经过卷积核为3×3、特征图数为64个的卷积层共6层，其中每两层特征合并；

(5)继续经过卷积核为3×3、特征图数为128个的卷积层共8层，其中除首层外每两层特征合并；

(6)继续经过卷积核为3×3、特征图数为256个的卷积层共10层，其中除首层外每两层特征合并；

(7)继续经过卷积核为3×3、特征图数为512个的卷积层共6层，其中除首层外每两层特征合并；

(8)继续经过均值池化层共1层；

(9)最后经过神经元为1000的全连接层共1层，输出图像表征。

进一步地，所述的区域卷积特征最大值，包括卷积网络截层和特征图谱编码。

进一步地，所述的卷积网络截层，给定一个卷积网络结构，用于图像表征可不沿用预训练中最终层输出，而是使用最后一层卷积层或者池化层所得到的向量，具体地，对于具有L层的卷积网络，给定图像则对应的输出层l∈L结果是一个三维张量其中K是通道的数量，W×H是输出特征图的空域维度；

特征图X^l可分解为K个二维特征图的序列，即与平面图像的像素相对，这些二维特征图称作卷积层中的激活因子，而这些激活因子在特征图中的空域位置表示为所有的p点组合起来可表征为S＝[1,W]×[1,H]，每一层都计算的是比上一层更高阶的抽象信息。

进一步地，所述特征图谱编码，对于特征图抽象概括的信息维度非常庞大，输入图像为3×3时，该网络的特征图谱维度为23×13×2048，因此需要将维度庞大的信息编码到固定长度的全局信息，具体为：对于给定层l的特征图X^l，首先产生一序列正方形区域R＝{R_i},i＝1,…,N，其中R_i∈S且N由特征图的尺寸所决定，接着，区域卷积特征最大值由横跨K个通道的空域所计算得到，即对每个区域R_i都会产生一个1×K的向量

则区域卷积特征最大值有：