[发明专利]一种基于彩色图像和深度图像的显著度检测方法

权利要求书

1.一种基于彩色图像和深度图像的显著度检测方法，其特征在于，步骤如下：

步骤1：对给定的彩色图像和深度图像分别送入不同的VGG-16编码器进行不同模态信息的特征编码；

步骤2：每个VGG-16编码器包含五个尺度的特征，在编码的过程中每个尺度的彩色图像的特征和深度图像的特征通过信息交互模块将不同模态间的特征信息进行融合并传递，具体公式如下：

其中，W₁,W₂,b₁和b₂表示可学习的卷积参数，[·,·]表示特征并联；上述公式首先通过特征并联和卷积操作来融合来自不同图像的特征，融合后的多模态特征通过加法操作分别将信息传递到双路编码器的每个支路上；

步骤3：对VGG-16编码器编码后的最深层的特征和进一步使用跨模态互引导模块促进最深层特征之间的相互引导，具体公式如下：

其中，表示矩阵乘法；该模块首先将双路编码器最深层的特征相加，然后学习相加后的特征与最深层特征和之间的亲和力矩阵A_r和A_d，接下来再利用学习到的亲和力矩阵来更新最深层的特征，被更新后的特征和通过加法操作完成最后的融合；至此，网络的编码过程完成；

步骤4：对编码器提取的前四个尺度的混合的多模态特征和E₅首先利用1×1卷积来缩减特征的维度来生成解码器初始特征这些特征使用残差的多尺度特征聚合模块完成多尺度特征聚合，具体公式如下：

其中，Cat(·,·)表示特征并联，Conv(·)表卷积操作示；该模块以残差的方式逐步的完成从最高水平特征D₅到最低水平特征D₁的融合；

步骤5：将步骤4更新后的D₁～D₅通过类似于特征金字塔网络结构的渐进式的融合和上采样来完成最后的多尺度特征融合，并生成最终的显著度检测结果。