[发明专利]基于超像素边缘和全卷积网络的图像语义分割方法

摘要

本发明提出了一种基于超像素边缘和全卷积网络的图像语义分割方法，用于解决现有图像语义分割方法中存在的准确度低的技术问题，实现步骤为：构建训练、测试和验证样本集，训练、测试并验证输出像素级语义标记的全卷积网络，利用已验证的输出像素级语义标记的全卷积网络对待分割图像进行语义分割，获得像素级语义标记，并对待分割图像进行BSLIC超像素分割，利用像素级语义标记对BSLIC超像素进行语义标注，得到融合了超像素边缘和全卷积网络输出的高级语义信息的语义分割结果。本发明既保持了原始全卷积网络分割准确度，又提高了对细小边缘的分割准确度，进而提升了图像分割准确率，可用于分类、识别、跟踪等要求检测目标的场合。

主权项

1.一种基于超像素边缘和全卷积网络的图像语义分割方法，包括如下步骤：/n(1)构建训练样本集、验证样本集和测试样本集：/n(1a)获取图像样本集：获取包含原始彩色图像以及与原始彩色图像对应的真实语义分割数据的图像样本集；/n(1b)从图像样本集中选择多数样本作为训练样本集，其余样本的部分作为验证样本集，另一部分作为测试样本集；/n(2)搭建输出像素级语义标记的全卷积网络：/n(2a)获取待搭建全卷积网络的基础网络和初始值：将VGG-16网络作为待搭建全卷积网络的基础网络，同时将MatConvNet工具箱中的VGG-16网络预训练权值作为待搭建全卷积网络的初始值；/n(2b)搭建全卷积网络：将待搭建全卷积网络中的全连接层FC-4096转换为4096个卷积核大小为1×1、卷积步长为1个像素的卷积层，全连接层FC-1000转换为1000个卷积核大小为1×1、卷积步长为1个像素的卷积层，得到全卷积网络；/n(2c)获取输出像素级语义标记的全卷积网络：/n(2c1)获取FCN-32s模型下的输出像素级语义标记的全卷积网络：将全卷积网络的第5个池化层输出的特征映射进行32倍上采样，得到FCN-32s模型下的输出像素级语义标记的全卷积网络；/n(2c2)获取FCN-16s模型下的输出像素级语义标记的全卷积网络：将全卷积网络的第5个池化层输出的特征映射进行2倍上采样，并将上采样结果与第4个池化层输出的特征映射进行融合，再将融合结果进行16倍上采样，得到FCN-16s模型下的输出像素级语义标记的全卷积网络；/n(2c3)获取FCN-8s模型下的输出像素级语义标记的全卷积网络：分别将全卷积网络的第4、5个池化层输出的特征映射进行2倍、4倍上采样，并将上采样结果与第3个池化层输出的特征映射融合，再将融合结果进行8倍上采样，得到FCN-8s模型下的输出像素级语义标记的全卷积网络；/n(3)对输出像素级语义标记的全卷积网络进行训练、测试和验证，得到验证后的输出像素级语义标记的全卷积网络：/n(3a)设定语义分割正确率阈值；/n(3b)对输出像素级语义标记的全卷积网络进行训练：利用训练样本集对输出像素级语义标记的全卷积网络进行若干次迭代监督训练，得到训练后的输出像素级语义标记的全卷积网络；/n(3c)对输出像素级语义标记的全卷积网络进行测试：将测试样本集中的所有原始彩色图像输入到训练后的输出像素级语义标记的全卷积网络中，得到FCN-32s、FCN-16s和FCN-8s三种模型下的像素级语义标记，并将其与测试样本集中的真实语义分割数据进行比对，得到语义分割正确率，若语义分割正确率大于设定的语义分割正确率阈值，得到测试后的输出像素级语义标记的全卷积网络，并执行步骤(3d)，否则执行步骤(3b)；/n(3d)对输出像素级语义标记的全卷积网络进行验证：将验证样本集中的所有原始彩色图像输入到测试后的输出像素级语义标记的全卷积网络中，得到FCN-32s、FCN-16s和FCN-8s三种模型下的像素级语义标记，并将其与验证样本集中的真实语义分割数据进行比对，得到语义分割正确率，若语义分割正确率大于设定的语义分割正确率阈值，得到验证后的输出像素级语义标记的全卷积网络，并执行步骤(4)，否则执行步骤(3b)；/n(4)将待分割彩色图像I输入到验证后的输出像素级语义标记的全卷积网络中，得到待分割彩色图像I的像素级语义标记；/n(5)对待分割彩色图像I进行超像素分割：/n(5a)对待分割彩色图像I进行颜色空间转换，得到LAB颜色空间的转换彩色图像I