[发明专利]基于自监督机制和区域建议网络的场景分类方法及装置

说明书

本发明公开了一种基于自监督机制和区域建议网络的场景分类方法及装置，属于图像处理领域，该方法包括：获取场景分类的标准数据集，遵循不同标准数据集的划分规则，将数据集按照标签文件划分为训练集和测试集；构建用于提取特征的基网络、用于提取局部具有可判别信息区域的区域建议网络以及用于合并不同尺度特征的联合网络；采用自监督机制对网络的损失函数进行优化设计；使用训练集图片对基网络、区域建议网络以及联合网络的参数进行交替训练；将测试图像输入已经训练好的网络中，获得图像的场景类别。本发明无需任何额外的局部区域标注信息，只需要图像的场景类别层级标签即可，使得网络能够针对不同的数据集进行端到端的学习。

技术领域

本发明属于图像处理领域，更具体地，涉及一种基于自监督机制和区域建议网络的场景分类方法及装置。

背景技术

近二十年来，信息及互联网技术的飞速发展使得各种类型数据呈现爆炸式增长，图像数据作为多媒体的重要组成部分也随着各类社交网站及软件的推广而激增。场景分类近年来也受到了越来越多的关注，在自动驾驶、图像检索、无人机飞行等领域有着广泛的应用，而如何对场景进行准确分类也就成为了一项具有挑战性的问题。

传统的场景分类方法主要是利用手工设计的特征对图像进行描述，再利用各种监督分类算法对特征进行分类。这类特征往往是从符合人类视觉的特点出发进行设计，关注颜色、结构、纹理、形状等视觉特征，常见的特征有SIFT、HOG、GIST特征等。

随着卷积神经网络的出现，深度学习渐渐取代了这一过程，卷积神经网络更有利于提取图片更深层次的特征，因此越来越多的学者将卷积神经网络用于不同的领域，都取得了巨大的进展，随着SUN、Places等大规模数据集的出现，卷积神经网络也在场景分类领域不断取得突破。

场景分类由于其任务和数据的特殊性，通用的神经网络结构可能无法充分利用场景图像中的语义信息，场景图像一般内容较为复杂，类内差异性也较大，为了充分利用场景内的语义信息，往往需要将全局特征和多尺度的局部区域特征进行融合，共同对场景图像进行描述，而提取局部区域方法的不同也会造成最终分类准确率的不同。

现有场景提取局部区域的方法往往需要对图像进行额外的边框标注，局部边框标注信息作为监督标签指导网络的训练过程，但人工标注的边框信息往往存在两方面的问题：一是标注成本高，对于场景分类这类需要大量图片用于训练的任务来说耗费成本过高；二是人工标注的区域对于场景分类任务来说可能并非最佳的区域，不同于目标检测等任务，在场景分类任务中，决定场景类别的不光是场景中的物体，还与场景中的背景、布局等紧密相关，因此标注的区域往往与最具判别性信息的区域有所偏差。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提出了一种基于自监督机制和区域建议网络的场景分类方法及装置，由此解决现有场景图像提取局部特征需要额外边框标注信息，导致操作困难的技术问题。利用图像自监督信息对局部区域的提取进行指导，提取出更具有判别性的局部区域，提高场景分类的准确率。

为实现上述目的，按照本发明的一个方面，提供了一种基于自监督机制和区域建议网络的场景分类方法，包括：

(1)获取目标场景分类图像数据集，根据所述目标场景分类图像数据集的标签文件分别将所述目标场景分类图像数据集分为训练图片集和测试图片集；

(2)构建用于提取特征的基网络、用于提取局部具有可判别信息区域的区域建议网络以及用于合并不同尺度特征的联合网络；

(3)采用自监督机制对网络的损失函数进行优化设计，其中，所述损失函数包括三个部分，共同作用于所述基网络、所述区域建议网络及所述联合网络的参数更新；

(4)使用所述训练图片集对所述基网络、所述区域建议网络以及所述联合网络的参数进行交替训练；

(5)将所述测试图片集输入已经训练好的所述基网络、所述区域建议网络以及所述联合网络中，得到最终的场景分类概率。