[发明专利]基于超像素边缘和全卷积网络的图像语义分割方法

说明书

本发明提出了一种基于超像素边缘和全卷积网络的图像语义分割方法，用于解决现有图像语义分割方法中存在的准确度低的技术问题，实现步骤为：构建训练、测试和验证样本集，训练、测试并验证输出像素级语义标记的全卷积网络，利用已验证的输出像素级语义标记的全卷积网络对待分割图像进行语义分割，获得像素级语义标记，并对待分割图像进行BSLIC超像素分割，利用像素级语义标记对BSLIC超像素进行语义标注，得到融合了超像素边缘和全卷积网络输出的高级语义信息的语义分割结果。本发明既保持了原始全卷积网络分割准确度，又提高了对细小边缘的分割准确度，进而提升了图像分割准确率，可用于分类、识别、跟踪等要求检测目标的场合。

技术领域

本发明属于图像处理技术领域，涉及一种图像语义分割方法，具体涉及一种基于超像素边缘和全卷积网络的图像语义分割方法，可用于图像分类、目标识别、目标跟踪等要求检测目标的场合。

背景技术

在数字图像处理领域，与分割相关的应用有目标分割、前景分割、图像分割以及图像语义分割，其中目标分割旨在将图像中的主要目标分割出来；前景分割指的是将视频或图像序列中感兴趣区域分割出来；图像分割是将图像划分为若干个互不交迭的且属性不同的区域，在图像分割中，像素被划分到任一区域的可能性是相同的，像素最后被划分到哪一区域只取决于像素的灰度、颜色、纹理等特征。而图像语义分割是指将图像分割为若干个互不重叠的、具有一定视觉意义的区域，同时对这些区域进行语义标注。本质上，语义分割实现的是像素级的分类，通过对每个像素点进行分类，实现整幅图像的语义标注。从应用的角度来讲，图像语义分割是指将图像中不同的目标进行分割，同时对不同目标做不同的标记。

早期图像语义分割方法主要采用条件随机场模型(Condition Random Fields,CRF)，CRF模型的缺点是不能定位到单个目标，难以利用图像的全局形状特征，容易造成误识，导致分割准确率降低。2010年，深度卷积神经网络AlexNet提出后，基于分类网络的图像语义分割算法诞生，如Girshick等提出的R-CNN模型和Hariharan等提出的SDS模型，这类算法的缺点是分割准确率会不可避免地受到自底向上的区域生成算法性能的限制。2015年，Long等人提出的FCN模型，对网络最后一个卷积层的输出进行上采样，上采样的结果恢复到与输入图像相同的尺寸，从而对每个像素产生了一个预测，然后进行逐像素分类实现图像的语义分割，在PASCAL VOC 2012挑战赛中达到了62.7％的分割准确率。尽管FCN模型能够实现像素级的分类，但是该模型由于只用到了深度神经网络抽象出的高级图像特征，对图像低级边缘信息的运用较少，导致它对细小边缘的分割定位准确度有所欠缺，如果能够在使用高级图像特征的同时，还能保留图像内的边缘信息，则图像分割准确率将会有所提升。

在图像平面内，超像素是一系列位置相邻且亮度、颜色、纹理等特征相似的像素点组成的连续的、互不重叠的区域，这些区域的像素点通常属于同一物体或平面。超像素具有良好的局部特征表达能力，能够提取图像的中层特征，并方便地表达图像的边缘信息。

发明内容

本发明的目的在于针对上述现有技术存在的缺陷，提出了一种基于超像素边缘和全卷积网络的图像语义分割方法，用于解决现有图像语义分割方法中存在的准确度低的技术问题。

本发明的技术思路是：构建训练、测试和验证样本集，训练、测试并验证输出像素级语义标记的全卷积网络，利用已验证的输出像素级语义标记的全卷积网络对待分割图像进行语义分割，获得像素级语义标记，并对待分割图像进行BSLIC超像素分割，利用像素级语义标记对BSLIC超像素进行语义标注，得到融合了超像素边缘和全卷积网络输出的高级语义信息的语义分割结果，具体步骤包括：

(1)构建训练样本集、验证样本集和测试样本集：

(1a)获取图像样本集：获取包含原始彩色图像以及与原始彩色图像对应的真实语义分割数据的图像样本集；

(1b)从图像样本集中选择多数样本作为训练样本集，其余样本的部分作为验证样本集，另一部分作为测试样本集；