[发明专利]一种旋转不变的语义信息挖掘方法

说明书

本发明提供一种旋转不变的图像语义信息挖掘方法，首先构建特征生成网络，通过ResNet‑50网络特征图谱的提取；通过主分支特征处理网络对特征图谱进行平均池化和降维处理；通过副分支特征处理网络挖掘旋转不变的图像语义描述符。将主分支特征处理网络得到的一个n维特征与副分支特征处理网络得到的多个n维特征进行特征拼接，得到增强的图像特征描述符。最后利用增强的特征描述符进行不同视角下图像的检索，进而实现地理目标定位。本发明提出一种环形分割策略，使得到的语义块不会受到拍摄方向的干扰，挖掘得到的语义块可以提高图像特征的区分性。

技术领域

本发明涉及图像检索领域，尤其涉及一种旋转不变的图像语义信息挖掘方法。

背景技术

图像检索任务长期以来一直是计算机视觉领域的重要研究课题，其目的是能够在存储量巨大的图像数据库中快速寻找出满足条件图像。图像检索根据应用领域不同，可细分为不同的子任务，如：行人重识别，车辆重识别，交叉视角地理定位等。本发明主要应用于交叉视角地理定位任务中。

交叉视角地理定位旨在检索出来自不同视角的两张具有相同语义信息的图像。在无人机精准递送，机器人导航，事件检测等场景中，交叉视角地理定位已经得到了广泛的应用。以无人机递送为例，给定一张带有GPS位置信息的卫星图像，无人机首先可根据GPS导航定位到目标建筑物附近。但由于GPS存在位置漂移现象，造成无人机(尤其是在建筑物较多的地区)无法实现目标的精准定位。此时，交叉视角地理定位系统便可根据无人机视角拍摄的图像与卫星视角获得的图像进行语义匹配，辅助GPS实现精准的物品递送。

在交叉视角地理定位任务中，为了得到表征性更好的图像特征信息，卷积神经网络已代替传统算法得到广泛应用。图像语义信息的挖掘，也从图像层面转换到高阶特征层面，即在图像的特征图谱上挖掘图像语义信息。有效的挖掘和利用图像特征中的语义信息，有利于提高不同视角下图像检索的精度。输入图像与待检索的图像之间可能存在虽然包含的语义信息相同，但方向不对齐的现象，例如，一张卫星图的右上角有一辆车，但在无人机视角下，这辆车可能在右下角。如果同时挖掘并利用图像特征右上角的语义信息对整体特征进行特征增强，不仅不会增加整体特征的区分性，反而会引入干扰特征。所以设计一种方向无关的特征语义挖掘方法对提高交叉视角下的地理定位精度尤为重要。

发明内容

针对现有技术中存在的不足，本发明提供一种旋转不变的图像语义信息挖掘方法。该方法主要利用在交叉视角地理定位任务中。在给定的两个视角图像方向不对齐的情况下，该方法利用一种环形切割策略对图像特征进行切割，得到与方向无关的语义信息块。而后利用语义块对整体信息进行特征增强，实现更精准的交叉视角地理定位。

一种旋转不变的图像语义信息挖掘方法，包括以下步骤：

步骤1：构建特征生成网络。该网络由三部分组成：第一部分为ResNet-50网络，用于特征图谱的提取；第二部分为主分支特征处理网络，对特征图谱进行平均池化和降维处理；第三部分为副分支特征处理网络，该部分采用环形分割策略，挖掘旋转不变的图像语义描述符。第一部分采用的ResNet-50网络与原ResNet-50相比，去掉了最后的平均池化层和全连接层。

步骤2：通过ResNet-50骨干网络对测试图像进行特征提取，获得特征图谱，并通过主分支特征处理网络和副分支特征处理网络对提取的特征图谱分别进行处理。在主分支特征处理网络中，直接对特征图谱进行全局平均池化操作，得到一个n维特征。在副分支特征处理网络中，先对特征进行环形切割，而后对切割得到的每个特征块进行平均池化操作，得到多个n维特征。

步骤3：将主分支特征处理网络得到的一个n维特征与副分支特征处理网络得到的多个n维特征进行特征拼接，得到增强的图像特征描述符。

步骤4：利用增强的特征描述符进行不同视角下图像的检索，进而实现地理目标定位。