[发明专利]基于多层次上下文信息融合的显著性物体检测方法

说明书

一种基于多层次上下文信息融合的显著性物体检测的方法。该方法的目的是构造并利用多层级的上下文特征进行图像显著性检测。该方法设计了一种新的卷积神经网络架构，这种新的卷积神经网络架构以由高层卷积至底层卷积的方式进行优化，从而为图像提取不同尺度上的上下文信息，将这些上下文信息进行融合可以获得高质量的图像显著性图。使用该方法检测出的显著性区域，可以用来辅助其他视觉任务。

技术领域

本发明属于图像处理技术领域，特别涉及到一种基于多层次上下文特征融合的显著性物体检测的方法。

背景技术

显著性物体检测，也被称为显著性检测，致力于模拟人类视觉系统来检测一张图像中显著的物体或者区域。显著性物体检测技术在计算机视觉中有着广泛的用途，比如图像检索、视觉跟踪、场景分类、基于内容的视频压缩和弱监督学习。虽然很多重要的显著性模型已经被提出了，但是显著性检测的精度仍然差强人意，尤其是在很多复杂的场景下。

传统的显著性检测方法通常手工设计很多底层的特征和先验知识，但是这些特征和先验知识是很难描述语义的物体和场景的。显著性物体最近的进步主要来自于卷积神经网络。卷积神经网络的主干网络通常由几个堆叠在一起的卷积/池化模块组成，其中靠近输入的模块被称作底层，而离输入较远的模块被称作高层。在深度学习社区中，人们普遍认为神经网络的高层包含语义相关的信息，而神经网络的底层包含辅助的细节信息。因此，如今领先的显著性物体检测方法都设计了各种复杂的网络架构来融合神经网络底层和高层的特征以进行精确的显著性检测。比如，在2017年CVPR上发表的论文“Deeply supervisedsalient object detection with short connections”中，作者通过实验小心地选择了几组由不同的高层和底层卷积模块组成的集合，每个集合将选定的若干个卷积模块的预测结果相融合得到一个预测，最后再将所有集合上的结果相融合得到最终的显著性检测结果。在2018年CVPR上发表的论文“Detect globally,refine locally:A novel approach tosaliency detection”中，作者提出了一种递归的模型来过滤掉不同卷积模块中的噪声然后再将它们融合。最近两年提出的网络高层和底层相融合的方法已经变得越来越复杂。由于文献太多，在此就不再一一赘述。那么，为了提高显著性物体检测的精度，我们是不是必须要设计越来越复杂的高底层特征融合的模型呢？

为了回答上述的问题，我们注意到，最近有一些深度学习的论文针对其他的图像任务提出了一些学习图像的全局上下文信息的神经网络模型。在2017年的CVPR上发表的论文“Pyramid scene parsing network”中，作者在神经网络的末尾添加了一些不同尺度的池化层来提取图像的上下文信息。在2018年的CVPR上发表的“Context encoding forsemantic segmentation”一文中，作者用另一篇论文“Deep TEN:Texture encodingnetwork”(2017年CVPR论文)中的编码方法构造了一个上下文信息提取模块。这两篇论文在语义分割这项任务上取得了较好的结果。由于显著性物体检测更加注重细节信息，上述的技术并不能直接用于显著性检测。

发明内容

本发明目的是解决现有技术中存在的不能充分利用图像中蕴含的上下文信息的技术问题，提供一种基于多层次上下文信息融合的显著性物体检测方法。该方法通过输入一张任意大小的图像，系统就可以高效的检测出图像中显著性物体。

为了实现本发明的目的，我们提出了一种新的卷积神经网络模型，所述模型以一种从顶层到底层的方式学习，顶层可以指导底层的训练，自动生成多层次的上下文信息，既包括粗糙的全局信息，也包括精细的局部信息，从而能够进行准确的显著性物体检测。