[发明专利]用于云联邦的图像中的目标物识别方法及装置

说明书

本发明提供了一种用于云联邦的图像中的目标物识别方法及装置，该方法包括以下步骤：对原始图像进行Random‑Batch images处理，并与原始图像融合后输入ResNet网络，进行特征提取，获得特征图；将特征图输入到双向特征图金字塔网络中进行深层特征图融合，获得语义表达能力更强的特征图，并输入到区域生成网络中，生成多个候选框，将特征框输入ROIAlign网络层筛选出感兴趣区域，感兴趣区域映射到特征图得到感兴趣区域的特征信息；根据特征信息通过全连接层对感兴趣区域进行分类、框回归及掩码网络处理，获得原始图像的语义分类结果，以识别目标物。本发明在训练过程中对模型的改进使之能对图像中的目标细粒度检测和识别有更好的效果。

技术领域

本发明涉及图像识别技术领域，具体涉及一种用于云联邦的图像中的目标物识别方法及装置。

背景技术

相较于普通的目标检测任务，航拍图像中的军事码头目标检测有难度更大。首先，由于距离太远，像素不是很高，图像本身模糊不清；另外，在图像中既有像素超过100×100的桥梁、操场，也有像素小于50×50各种集装箱、船只，而且船只目标较为密集，还有些相互交叠的部分，还有介于其间的飞机、码头，图像复杂程度更高，因此要求目标识别方法对多尺度和精度需求比较高。

为了对军事码头航拍图像中的各个目标进行识别，首先，要进行语义分割，先识别出不同类别的的实体，其次，需要对同类别的实体进行实例分割，最终检测出各个目标的属性。

在语义分割层面，目前主要有RCNN、fast-RCNN、faster-RCNN等，其中RCNN网络先提取图像中的Proposal(候选框)，然后将Proposal(候选框)输入CNN(卷积神经网络)提取特征，使用SVM(支持向量机)分类，最后做Bbox reg(框回归)，在语义分割方面，效果较好，但是其速度较慢，原因是在提取图像的proposal的时候计算机进行大量重复计算。

为了解决RCNN速度较慢的问题，目前提出一种Fast-RCNN算法。在Fast-RCNN中，将输入变为一整张图像，通过ROI再进行特征选择。并且将Bbox reg(框回归)和区域分类都加入网络变成了multi-task，Fast-RCNN将RCNN每一个框都要单独进CNN入这一大缺点改进，提升了速度。但是尽管Fast-RCNN极大地提高了速度，但是筛选特征框还是需要花费大量的时间。

为了进一步提高选择Proposal(候选框)的速度，一种基于Fast-RCNN的改进算法Faster-RCNN被提出，Faster-RCNN在Fast-RCNN进行改进，首次提出了一种快速提取Proposal(候选框)的算法—RPN(Region Proposal Network，区域生成网络)，RPN很好的整合到Fast-RCNN中。在语义分割方面，Fast-RCNN以及Faster-RCNN等，取得了非常好的效果，但是Faster-RCNN无法进行实例分割，无法达到目标识别的要求。

为了更好的对目标进行识别，在Faster-RCNN基础上，一种改进的实例分割算法Mask-RCNN被提出。首先Mask-RCNN对Faster-RCNN中的ROI(Region Of Interest，感兴趣区域)进行了改进，由原本的ROI Pooling改进为ROI Align，极大的减小了Proposal(候选框)过程中的误差；其次，Mask-RCNN中的FPN(特征金字塔网络)是对该主干网络的扩展，可以在多个尺度上更好地表征目标。此外，Mask-RCNN中最关键的是在其已有的用于边界框识别的分支上添加了一个并行的用于预测目标掩码的Mask(掩码网络)分支，实现了实例分割。

但是针对码头遥感图像细粒度的目标识别，Mask-RCNN的鲁棒性依然存在不足，在细粒度目标识别的准确率不是很高。因此Mask-RCNN的鲁棒性不足、对细粒度目标识别的准确率不高是亟待解决的技术问题。

发明内容

本发明提供了一种用于云联邦的图像中的目标物识别方法及装置，旨在解决传统的Mask-RCNN鲁棒性不足、对细粒度目标识别的准确率不高的技术问题。