[发明专利]一种基于多任务深度学习的显著目标检测方法

摘要

本发明属于深度学习技术领域，一种基于多任务深度学习的显著目标检测方法，提出的基于多任务的显著性目标检测网络，在现有VGG16的基础模型上，通过带有语义对比局部特征的残差模块的引入，来获取更多的局部与语义信息，然后两个任务网络的交互学习，使得两个网络能够互相学习到对方的特征，以此来补足自身特征的不足。与以往方法相比，本方法检测结果更加准确。对于多目标或者目标与背景很相似的图像，本发明方法的检测结果更加符合人类的视觉感知，得到的显著图也更加准确。此外，由于另一个目标轮廓网络对目标轮廓的敏感，使得显著目标检测结果的边缘也有很大的改善。

主权项

1.一种基于多任务深度学习的显著目标检测方法，其特征在于，步骤如下：(1)在VGG16网络基础上增加模块分别得到显著目标检测任务网络和目标轮廓检测任务网络，显著目标检测任务网络的每个解卷积模块只包含特征交互模块和基于语义对比局部特征的残差模块；目标轮廓检测任务网络的解卷积模块只包含特征交互模块和基本卷积层；编码部分是基本的VGG16网络，是由多个卷积模块组成，一步步将图像降采样成高层特征；解码部分是由多个解卷积模块组成，每个解卷积模块将特征上采样两倍，这些解卷积模块将编码部分最高层的特征逐步上采样到原图大小，进行任务的预测；(2)在显著目标检测任务网络中的基于语义对比局部特征的残差模块；在该基于语义对比局部特征的残差模块中分别提取局部特征和语义特征，定义如下：F_out＝F_in+(f_l(F_in；W_l)‑f_c(F_in；W_c))其中：F_in是基于语义对比局部特征的残差模块的输入特征，F_out是基于语义对比局部特征的残差模块的最终输出特征；f_l(·)表示局部的卷积操作，W_l是该卷积的卷积参数；f_c(·)表示提取语义的卷积操作，W_c是该卷积的参数；通过对得到的局部特征和语义特征进行相减来得到对比特征，再将对比特征与原特征相加得到最后的输出特征；(3)为了两个任务网络很好地交互，设计特征交互模块，使得显著目标检测任务网络和目标轮廓检测任务网络相互促进；特征交互模块只用于任务网络的解码部分；为了两个任务网络的交互，对两个任务网络进行交替训练；在训练任意一个任务网络时，在该任务网络的特征交互模块中，以四个部分的特征作为输入，包括当前任务网络该特征交互模块之前的解卷积模块的输出特征S_t及其上采样两倍的特征S_t^up，与S_t^up大小相同的位于解码部分的卷积模块输出特征S_t^encoder和另一个任务网络对应解卷积模块的上采样两倍的输出特征C_t^up；在特征交互模块中，先将上述提到的后三个特征按通道层面连接起来；然后对当前任务网络该特征交互模块之前的解卷积模块的输出特征S_t进行全局平均池化操作得到注意力通道向量；之后对这个注意力通道向量进行1x1卷积操作使它的长度与之前连接的特征通道数相同；然后用一个sigmoid函数使向量值在0‑1之间；最后用这个注意力向量对连接后特征的每个通道加权来筛选连接后的特征，使得特征交互后的特征都是对当前任务最有利的特征，具体定义为：(4)对于步骤(3)中的注意力向量，提出一个稀疏卷积模块，使得注意力向量变得稀疏，进一步提高模型的泛化能力；(5)对每个网络的解卷积模块的最终输出进行真值监督来训练网络；最终，采用解码网络最后一个解卷积模块的预测结果进行softmax处理后作为最终预测结果。