[发明专利]一种基于多级特征融合的伪装目标分割方法及装置

说明书

本发明公开了一种基于多级特征融合的伪装目标分割方法及装置，所述方法包括获取包含有伪装目标的RGB图像；将包含有伪装目标的RGB图像输入预先构建并训练过的多级特征融合的伪装目标分割网络，得到伪装目标的掩膜图像；所述多级特征融合的伪装目标分割网络包括多层特征提取器、门控融合模块和自交互残差模块；所述多层特征提取器基于具有特征提取能力的网络Res2Net‑50实现，其输入是包含有伪装目标的RGB图像，其提取到的多级特征依次送入门控融合模块和自交互残差模块；本发明能够有效分割出不同场景下不同类型的伪装目标。

技术领域

本发明涉及一种基于多级特征融合的伪装目标分割方法及装置，属于计算机视觉中的场景分割技术领域。

背景技术

伪装目标分割(Camouflaged Object Segmentation，COS)是计算机视觉中极具挑战性的任务，其目的是从目标与背景高度相似的环境中分割出伪装物体。由于伪装目标与周围环境对比度较低，相比目标与背景有明显差异的常规分割任务，伪装目标分割更加具有难度。

在早期的传统方法中，研究人员将伪装图案视为特殊的纹理区域，针对颜色、纹理等底层特征，运用三维凸算子、灰度共生矩阵、纹理描述符、数学形态学等方法对伪装目标进行分割。随着深度学习技术的发展，从图像中提取的深度特征相比于传统底层特征更加通用和有效。

目前方法在相对简单的场景中分割伪装目标已经具有较好的效果，但面对目标偏小且背景复杂的场景时，现有模型分割性能显著下降。模型效果下降原因包括当前模型所提取的深度特征多尺度表达能力不足，无法发现图片中尺寸较小且与背景高度相似的伪装目标，导致模型产生漏检情况。其次，模型使用的底层特征包含大量干扰信息，无法准确提取出伪装目标边缘细节；深层特征经过多次下采样后分辨率大大降低，目标细节信息也严重丢失。目前增强特征的常用方式为特征融合，但简单地融合深层特征与低层特征，将导致目标信息淹没在大量干扰信息中，无法准确捕捉伪装目标位置信息以及边缘细节。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于多级特征融合的伪装目标分割方法及装置，能够有效分割出不同场景下不同类型的伪装目标。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种基于多级特征融合的伪装目标分割方法，包括：

获取包含有伪装目标的RGB图像；

将包含有伪装目标的RGB图像输入预先构建并训练过的多级特征融合的伪装目标分割网络，得到伪装目标的掩膜图像；

其中，所述多级特征融合的伪装目标分割网络包括多层特征提取器、门控融合模块和自交互残差模块；

其中，所述多层特征提取器基于具有特征提取能力的网络Res2Net-50实现，其输入是包含有伪装目标的RGB图像，其提取到的多级特征依次送入门控融合模块和自交互残差模块；

所述门控融合模块用于对多层特征提取器提取的各级中间层特征进行选择性融合，过滤特征中包含的干扰信息；

所述自交互残差模块用于将输入特征转换成不同通道数的高、低分辨率特征，再进行充分融合，挖掘出更多有效的特征信息。

进一步的，所述门控融合模块用于对多层特征提取器提取的各级中间层特征进行选择性融合，过滤特征中包含的干扰信息，具体包括：

所述门控融合模块由门控矩阵组成，在深层特征语义信息的指导下，计算出各级特征对应的门控矩阵以此区分特征中的有用信息与干扰信息；对于给定输入特征其中H_i、W_i和C_i分别表示第i级特征的高度、宽度和通道数；各级特征均产生相应的门控矩阵所有门控矩阵都有对应的特征图；融合过程中应用门控矩阵，得到多级特征融合特征图：