[发明专利]一种基于多层次融合的RGBD图像显著性检测方法及系统

权利要求书

1.一种基于多层次融合的RGBD图像显著性检测方法，其特征在于：包括以下步骤：

步骤S1：进行RGBD图像数据增强，同时对彩色图像以及对应的深度图和人工标注图进行处理，增加训练数据的多样性；

步骤S2：设计多层次卷积神经网络结构，提取并融合深度图与彩色图像特征，融合多层次的特征，得到各个层次预测的显著性图S_k；

步骤S3：设计一个融合优化模块,然后融合各个层次的显著性图S_k，得到最终的显著性图S_final；

步骤S4：通过求解最小化损失函数，学习到RGBD图像显著性检测模型的最优参数，得到训练好的RGBD图像显著性检测模型；

步骤S5：最后，将RGBD图像输入训练好的RGBD图像显著性检测模型，通过模型计算得到输入图像的显著性检测结果，即显著性图；

所述步骤S2具体包括以下步骤：

步骤S21：设计一种多层次卷积神经网络结构，网络由两个VGG16网络构成：分别输入彩色图像和深度图；

步骤S22：多层次网络结构使用VGG16中的5个卷积层和一个池化层Conv1，Conv2，Conv3，Conv4，Conv5，Pool5提取各个层次的特征，分别为第1,2,...,6层特征；其中一个VGG16网络的输入是彩色图像，得到的是彩色图像特征，另一个VGG16网络的输入是深度图，得到的是深度图特征；然后，在每个层次将颜色特征和深度特征拼接起来，公式如下：

其中X_k^fusion表示第k层将彩色图特征和深度图特征拼接的特征，X_k^rgb表示第k层的彩色图特征，X_k^depth表示第k层的深度图特征，表示拼接操作；然后经过跨模态特征采样模块将两种特征融合起来；

CFS模块通过输入的特征经过全局平均池化和全局方差池化以及两个全连接层来估计两种特征各个通道的权重，公式如下：

其中，w_k表示第k层融合特征各个通道上的权重，w_avg，w_var分别表示全局平均池化分支和全局平均方差池化分支上的可训练参数，w_k^avg表示拼接特征经过全局平均池化层和全连接层学习到的各个通道上的权重，w_k^var表示拼接特征经过全局方差池化层和全连接层学习到的各个通道上的权重；

最后经过卷积核为1的卷积核将融合的特征进行降维减少参数量；公式如下：

表示逐像素点乘，Conv_1×1代表卷积核大小为1的卷积，X_k′表示降维后的特征；

步骤S23：降维后的X_i′特征会经过3层卷积层进行空间上的转化将这一系列的卷积操作定义为F_st，则有：

H_k＝F_st(X_k′)

H_k表示第k层经过空间转化后的特征；

将深层的特征通过密集连接的方式整合到浅层，与浅层特征结合来获得更加精确的语义；整合后的特征经过降维再被用来预测各个层次的显著性图S_k(k＝1...6)；具体公式如下：

其中，表示从第t层到第6层连续拼接，H_t代表第t层经过空间转化后的特征，F_up表示上采样，H_k′表示第k层特征经过深层特征密集聚合后的特征，H_k^out表示第k层特征H_k′经过降维并缩放 到与输入图像块相同尺寸后的特征，该特征是输出显著性图前的特征，σ表示Sigmoid激活函数，S_k代表第k层输出的显著性图；

所述步骤S3的具体内容为：

将这个融合优化模块定义为F_frm，此模块是一个编码器和解码器结构，由前面各层的显著性图融合计算得到最终的显著性图，具体的公式如下：

S_final＝F_frm(S_k；k＝1…6)

k表示第k层，S_final表示最终的显著性图，S_k表示第k层输出的显著性图，F_frm表示一个编码器和解码器结构的融合模块；

所述步骤S4具体包括以下步骤：

步骤S41：使用各种损失函数作为约束，优化RGBD图像显著性检测模型，具体的公式如下：

其中，表示最终训练的损失函数，其中∑表示求和，k∈{1，…，6}，是作用在第k层上的边缘损失，是作用在最终的显著性图上的约束形状相似性的损失函数，是分别作用在第k层和最终的显著性图的交叉熵损失函数；上面的具体计算公式如下：

其中，ΔY，ΔS_k分别表示输入的显著性图真值图求导后的图和计算的第k层的显著性图S_k求导后的图，S_final表示最终融合得到的显著性图，log表示log函数，Y表示输入的显著性图的人工标注图，[i，j]表示图像的第i行和第j列像素，Y[i，j]，S_k[i，j]，ΔY[i，j]，ΔS_k[i，j]，S_final[i，j]分别表示图像Y，S_k，ΔY，ΔS_k和S_final的第i行和第j列像素处的值；

步骤S42：以批次为单位重复进行上述的步骤S2到S4步骤，直至收敛到阈值或者达到迭代次数到阈值，保存网络参数，完成网络训练，得到训练好的RGBD图像显著性检测模型。