[发明专利]一种结合目标检测的小目标语义分割方法

说明书

本发明公开了一种结合目标检测的小目标语义分割方法，步骤：搭建DeepLab‑Attention语义分割网络，训练该网络得到整体语义分割模型；制作小目标检测数据集和小目标语义分割数据集；通过小目标检测数据集训练基于YOLOv2的小目标检测网络；设计一个小目标语义分割网络，利用小目标语义分割数据集训练该网络，得到小目标语义分割模型；在测试阶段，分别将测试图像作为上述整体语义分割模型和小目标检测网络的输入，得到整幅图像的分割结果和图像存在的小目标边界框，并通过小目标语义分割模型进行修正。本发明能大大降低小目标的分割难度，从而有效地提高小目标的分割性能。

技术领域

本发明属于图像处理技术领域，特别涉及了一种结合目标检测的小目标语义分割方法。

背景技术

图像语义分割是计算机视觉三大任务之一，它的目标是对图像中的每个像素点做类别标记，得到一副图像的语义分割图。从传统的图像分割角度来看，图像语义分割是在语义层面上将图像分割成多个区域，然后为每个区域分配合适的类别标签。目前，语义分割在自动驾驶、实时道路监控、自动虚拟试衣和医疗疾病系统等方面都有广泛的应用。在深度学习兴起之前，语义分割的主要方法是使用条件随机场模型来建立概率图模型，近几年来，深度卷积神经网络由于具有很强的学习能力，计算机视觉领域逐渐趋于成熟。同时随着高速计算设备GPU的发展，解决语义分割问题的主流框架已经被深度学习方法所取代。

尽管深度神经网络在图像理解方面精度有了很大的提高，但在这些复杂场景下仍然面临诸多挑战，如较难分割小目标区域或目标区域的条状部位，即当原始图像通过全卷积神经网络得到具有多个类别通道特征图之后，由于步长大于等于2的池化层和卷积层存在，分割结果的图像尺寸缩小了若干倍。如果这样的池化层或卷积层达到一定的个数，小目标或目标的条状部位在网络的深层输出特征中将会消失。

现有较优的语义分割算法通常基于全卷积神经网络(FCN)框架，FCN的训练过程包括前向传播、损失值计算、反向传播和SGD更新参数。FCN一般使用交叉熵损失函数作为网络的损失层，它对图像所有像素点的误分类损失值求和得到总的损失值。但是，小目标所在区域内包含的像素点数目相比其他目标包含的像素点数目要少很多，当小目标区域内的像素点分类错误时并不会对总的损失产生太大的影响，因此这样的损失函数不适用于小目标的分割。

发明内容

为了解决上述背景技术提出的技术问题，本发明旨在提供一种结合目标检测的小目标语义分割方法，降低小目标的分割难度，从而有效地提高小目标的分割性能。

为了实现上述技术目的，本发明的技术方案为：

一种结合目标检测的小目标语义分割方法，包括以下步骤：

(1)搭建DeepLab-Attention语义分割网络，通过数据集训练该网络得到整体语义分割模型；

(2)根据数据集提供的实例边界标注文件，制作小目标检测数据集；根据数据集提供的像素级真实标记图，裁剪小目标图像块，制作小目标语义分割数据集；

(3)通过步骤(2)得到的小目标检测数据集训练基于YOLO v2的小目标检测网络；

(4)设计一个小目标语义分割网络，利用步骤(2)得到的小目标语义分割数据集训练该网络，并将步骤(3)得到的小目标检测网络所预测得到的小目标类别作为先验信息输入网络中辅助学习，得到小目标语义分割模型；

(5)在测试阶段，分别将测试图像作为上述整体语义分割模型和小目标检测网络的输入，得到整幅图像的分割结果和图像存在的小目标边界框，并通过小目标语义分割模型得到的小目标分割结果对整幅图像的分割结果进行修正。

进一步地，在步骤(1)中，所述DeepLab-Attention语义分割网络为结合多尺度输入的DeepLab网络模型，每个基于DeepLab的神经网络得到对应尺度图像的特征评分图后，通过Attention模型学习得到的权重进行融合，获取最终的分割评分图。