[发明专利]多级深度特征融合的RGB-T图像显著性目标检测方法

摘要

本发明公开了一种多级深度特征融合的RGB‑T图像显著性目标检测方法，主要解决现有技术在复杂多变场景中不能完整一致地检测出显著目标的问题。其实现方案为：1.对输入图像提取粗糙的多级特征；2.构建邻近深度特征融合模块，改善单模态特征；3.构建多分支组融合模块，融合多模态特征；4.得到融合输出特征图；5.训练算法网络；6.预测RGB‑T图像的像素级显著图。本发明可有效融合来自不同模态图像的补充信息，能够在复杂多变场景下完整一致地检测图像显著目标，可用于计算机视觉中图像的预处理进程。

主权项

1.多级深度特征融合的RGB‑T图像显著性目标检测方法，其特征在于，包括如下步骤：(1)对输入图像提取粗糙的多级特征：对图像提取基础网络中位于不同深度的5级特征作为粗糙的单模态特征；(2)构建邻近深度特征融合模块，改善单模态特征：建立多个邻近深度特征融合模块，然后通过该邻近深度特征融合模块将步骤(1)得到的5级粗糙的单模态特征处理，将来自邻近深度的3级特征进行融合，得到改善的3级单模态特征；(3)构建多分支组融合模块，融合多模态特征：构建包含两个融合分支的多分支组融合模块，对步骤(2)得到的改善的3级单模态特征中，位于同一特征级下的不同单模态特征进行融合，得到融合的多模态特征；(4)得到融合输出特征图：将步骤(3)得到的融合的多模态特征的不同级特征逐级反向融合，得到多个边输出特征图，并将所有边输出特征图融合，得到融合输出特征图；(5)训练算法网络：在训练数据集上，对步骤(4)中得到的边输出特征图和融合输出特征图，采用深度监督学习机制，通过最小化交叉熵损失函数，完成算法网络训练，得到网络模型参数；(6)预测RGB‑T图像的像素级显著图：在测试数据集上，利用步骤(5)得到的网络模型参数，对步骤(4)中得到的边输出特征图和融合输出特征图，通过sigmoid分类计算，预测RGB‑T图像的像素级显著图。