[发明专利]一种基于多图神经网络协同学习架构的显著性物体检测装置及方法

权利要求书

1.一种基于多图神经网络协同学习架构的显著性物体检测方法，其特征是：所述方法包括以下步骤：

步骤1：确定显著性边缘特征与显著性区域特征，分别表示为与

步骤2：将显著性边缘特征与显著性区域特征分别通过图投影操作转化为边缘图节点V_e与区域图节点V_r；

步骤3：将边缘图G_e与区域图G_r进行初始图交互，实现图间信息的传递；

步骤4：将交互之后的边缘图G_e与区域图G_r送入动态信息增强图卷积层，完成图节点信息的充分挖掘；

步骤5：将经过动态信息增强图卷积层处理之后的边缘图节点与区域图节点送入注意力感知融合模块，完成两种特征的互补融合，为显著性边缘特征与显著性区域特征的学习过程提供互补线索；

步骤6：将步骤5得到的边缘图节点和区域图节点分别以相同方式经过3层动态信息增强图卷积的处理以及相应地注意力感知融合模块的融合处理之后，采用图重投影操作将最终输出的边缘图节点V_e^final和区域图节点V_r^final映射回原始坐标空间。

2.根据权利要求1所述的一种基于多图神经网络协同学习架构的显著性物体检测方法，其特征是：

通过下式确定边缘图节点V_e与区域图节点V_r：

通过上述方式，边缘图G_e＝(V_e,E_e)与区域图G_r＝(V_r,E_r)构建完成，其中，表示图节点集合，E_e(E_r)表示图边集合。

3.根据权利要求2所述的一种基于多图神经网络协同学习架构的显著性物体检测方法，其特征是：所述步骤3具体为：

首先计算边缘图节点V_e与区域图节点V_r的相似性矩阵A^inter，具体公式为：

其中，f_norm(·)表示归一化操作；

然后将图交互信息分别传递给边缘图节点V_e与区域图节点V_r，如下：

其中,λ∈[0,1]是平衡图交互信息重要性的权衡参数,根据经验设置为1。

4.根据权利要求3所述的一种基于多图神经网络协同学习架构的显著性物体检测方法，其特征是：所述步骤4具体为：

利用欧氏距离计算每个图节点的最近k个邻居节点，通过边学习函数来学习当前图节点v_i与其邻居节点之间的边权值大小以充分挖掘当前图节点与其邻居节点之间隐式存在的多种语义关系，增强图节点之间的信息交互，具体计算过程：

其中，r_learn表示关系类型索引，R表示待学习的关系总数，表示当前图节点v_i的邻居节点集合，边学习函数可以采用多层感知机MLP来拟合学习，定义为：

利用来自多个可学习边的信息更新当前图节点v_i的嵌入信息，即：

为了完成图节点内不同通道之间的信息传递，计算图节点之间基于通道的注意力归一化系数矩阵，表示为：

其中，softmax(·)操作对基于通道的注意力系数矩阵V^TV的结果按列进行归一化，每列中的元素表示从一个通道到其他通道的相关系数，因此，同一图节点内不同通道之间的信息传递通过下式完成：

为提高同一图节点内部特征的稳定性，采用残差结构来结合原始图节点特征V'和V^intra，即：

其中，表示最终输出的图节点特征，α控制V^intra对原始图节点特征的影响，根据经验设置为0.2。