[发明专利]一种基于多图神经网络协同学习架构的显著性物体检测装置及方法

说明书

本发明是一种基于多图神经网络协同学习架构的显著性物体检测装置及方法。本发明涉及计算机视觉技术领域，确定显著性边缘特征与显著性区域特征，将显著性边缘特征与显著性区域特征分别通过图投影操作转化为边缘图节点与区域图节点；进行初始图交互，实现图间信息的传递；将交互之后的送入动态信息增强图卷积层，完成图节点信息的充分挖掘；将经过动态信息增强图卷积层处理之后的边缘图节点与区域图节点送入注意力感知融合模块，完成两种特征的互补融合，为显著性边缘特征与显著性区域特征的学习过程提供互补线索。本发明提升显著性物体检测性能，弥补传统卷积神经网络的关系学习能力不足的问题。

技术领域

本发明涉及计算机视觉技术领域，是一种基于多图神经网络协同学习架构的显著性物体检测装置及方法。

背景技术

人类视觉系统通过对视觉场景内的局部信息进行分析整合，建立对整个视觉场景的理解，进而快速精确地定位到视觉场景中最具辨别性、最吸引人注意的区域。显著性物体检测不同于传统高成本的划窗遍历式搜索来检测物体，通过模拟人类视觉系统，高效定位图像中视觉上最显著的区域，并将其从背景中均匀地分离出来，使得后续视觉算法能够根据区域的显著性程度合理分配计算资源，从而降低处理成本，缓解海量图像信息与有限计算资源之间的矛盾，适用于资源受限的一些应用场合，如卫星、无人机等，同时作为预处理步骤，辅助各种高级视觉任务进一步获取视觉场景中的高级语义信息，从而建立起对视觉场景的局部到整体的理解，如目标识别、目标跟踪、图像/视频字幕等。

近年来，基于深度卷积神经网络的显著性物体检测方法得到了广泛的研究，其有效提高了检测的性能，使得显著性物体检测研究取得持续进展。然而，目前基于深度卷积神经网络的显著性物体检测模型在处理高频视觉信息及捕获物体全局结构信息方面还不够理想，表现为获取的显著图中会出现显著性物体边缘模糊、物体部分缺失以及背景被错误凸显等问题，进而影响后续高层视觉分析任务的性能。这种情况主要是由深度卷积神经网络的结构特性影响所致，一方面由于深度卷积神经网络学习方法是通过设计各向同性滤波器挖掘图像的平移不变性及可分解性，常采用下采样(卷积+池化)降低输入数据的维度、上采样(反卷积)恢复输入数据的原始大小。这种下采样+上采样操作造成物体边缘及结构等高频信息发生不可逆损失，因此会产生物体边缘模糊及物体部分缺失等问题。

图神经网络作为非常前沿的深度学习方法，通过定义各向异性滤波器从非欧氏空间不规则的图结构数据中汇聚信息，更好地学习、推理物体内部必然存在的隐含的复杂逻辑关系，捕获丰富的上下文结构信息，从而改善显著图中存在的物体边缘模糊、物体部分缺失以及背景被错误凸显等问题，弥补传统卷积神经网络的不足。因此，在非欧氏空间中开展基于图神经网络的显著性物体检测方法研究具有重要理论意义和应用价值，拓展、丰富了目前显著性物体检测的研究体系及技术路线。

发明内容

本发明为克服现有技术的不足，本发明通过图神经网络有效学习、推理子区域之间存在的复杂逻辑关系，捕获丰富的上下文结构信息，同时充分利用显著性边缘特征与显著性区域特征双方提供的互补线索，使信息交互最大化，从而提升显著性物体检测性能，弥补传统卷积神经网络的关系学习能力不足的问题。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

本发明提供了一种基于多图神经网络协同学习架构的显著性物体检测装置及方法，本发明提供了以下技术方案：

一种基于多图神经网络协同学习架构的显著性物体检测方法，所述方法包括以下步骤：

步骤1：确定显著性边缘特征与显著性区域特征，分别表示为与