[发明专利]基于融合多特征的街景图像处理方法及系统

说明书

本发明公开了一种基于融合多特征的街景图像处理方法，包括以下步骤：待处理的街景图像经过卷积神经网络后得到C个特征信息图；将C个特征信息图均复制l份，并分别划分为大小不一的区域，然后将分好区域的图均输入三个池化层，对每幅图均进行平均池化计算、最大池化计算与广义平均池化计算；将经池化计算后的各个区域中的相同尺度向量归为一列，并将所有尺度向量进行串联，得到一个l*C维的多维特征向量；将三种池化层得到的多维特征向量进行拼接，得到最终的全局特征，并输入到全连接层进行降维。本发明能够有效提取图像特征，降低训练的复杂性，提高检索的精确率。

技术领域

本发明涉及图像处理领域，尤其涉及一种基于融合多特征的街景图像处 理方法及系统。

背景技术

随着网络中的图片资源呈现指数级增长，而众多领域中，需要根据不同 的需求检索相关图片，故检索相关图像的方法显得尤为重要。近些年，基于 内容的图像检索方法(ContentBasedImageRetrieval，CBIR)兴起，并成为 当前的研究热门方向。

传统的图像检索方法中，陈等使用SITF方法，在空间尺度中寻找极值点， 并提取出其位置、尺度、旋转不变量，将极值点的属性信息作为图像的特征 用于图像检索。马等通过GIST方法提取出图像的方向频率信息等局部特征作 为图像特征。虽然此类方法取得了一定的效果，但无法捕获图像数据变化剧 烈时的高层语义特征，限制了图像检索的精度。

近年来，随着ImageNet的出现，卷积神经网络得到了广泛应用，紧接着， AlexNet、VGGNet、GoogleNet等被相继提出。任等使用卷积神经网络提取特 征进行图像检索，相对于传统检索方法，得到了良好的效果。但传统的卷积 神经网络主要针对于图像分类任务，若直接用于图像检索，所提取到的特征 并不能捕获街景图像的关键信息，仍存在检索精度低的问题。

为解决此问题，研究人员开始引入注意力机制提取关键区域的特征信息。 李提出了一种软注意力与硬注意力机制并行的模型，通过多注意力机制的方 法，突出图像特征的关键部分。Kim提出一种基于注意力机制的集成模型，为 网络模型中可训练的部分学习不同的注意力模块，并在其中嵌入函数用于对 特征的提取训练。此类方法有助于突出关键区域的特征，但提取的特征仍没 有对图像关键区域进行有效的描述。

在过去的数十年中，集成方法广泛应用于图像检索中。通过对可学习的 协作控制部分进行训练，并将训练得到的全局特征集成到一个模型中能够有 效提高检索的性能。在GoogleLandmarkRetrieval竞赛中，几种名列前茅的 方法通过单独训练不同的全局特征并组合起来，取得了较理想的效果。Dai提 出了一种批量擦除特征，在处理后的特征使用最大池化 (MaximumActivationofConvolutions，MAC)的方法，使特征的表示得到优 化。目前，常用的池化方法还包括平均池化(Sum pooling of convolutions,SPOC)，与广义平均池化(Generalizedmean pooling，GeM)。 这些集成方法虽然能提高图像检索的精度，但是这些方法都需要对多个部分 进行独立训练，存在网络规模大，训练时间长，训练参数多等问题。

此外，在传统的卷积神经网络中，在特征图输入到全连接层时，特征图 的尺寸大小必须是固定的，若图像输入到全连接层时尺寸大小不符合输入要 求，特征图将会被裁剪或者缩放。在这个过程中，图像的特征将会被改变， 甚至造成特征的丢失。

发明内容

本发明主要目的在提供一种能够避免图像在输入到全连接层时将建筑物 部分剪裁，从而保证检索性能的基于融合多特征的街景图像处理方法及系统。

本发明所采用的技术方案是：

提供一种基于融合多特征的街景图像处理方法，包括以下步骤：