[发明专利]基于超像素边缘和全卷积网络的图像语义分割方法

权利要求书

1.一种基于超像素边缘和全卷积网络的图像语义分割方法，包括如下步骤：

(1)构建训练样本集、验证样本集和测试样本集：

(1a)获取图像样本集：获取包含原始彩色图像以及与原始彩色图像对应的真实语义分割数据的图像样本集；

(1b)从图像样本集中选择多数样本作为训练样本集，其余样本的部分作为验证样本集，另一部分作为测试样本集；

(2)搭建输出像素级语义标记的全卷积网络：

(2a)获取待搭建全卷积网络的基础网络和初始值：将VGG-16网络作为待搭建全卷积网络的基础网络，同时将MatConvNet工具箱中的VGG-16网络预训练权值作为待搭建全卷积网络的初始值；

(2b)搭建全卷积网络：将待搭建全卷积网络中的全连接层FC-4096转换为4096个卷积核大小为1×1、卷积步长为1个像素的卷积层，全连接层FC-1000转换为1000个卷积核大小为1×1、卷积步长为1个像素的卷积层，得到全卷积网络；

(2c)获取输出像素级语义标记的全卷积网络：

(2c1)获取FCN-32s模型下的输出像素级语义标记的全卷积网络：将全卷积网络的第5个池化层输出的特征映射进行32倍上采样，得到FCN-32s模型下的输出像素级语义标记的全卷积网络；

(2c2)获取FCN-16s模型下的输出像素级语义标记的全卷积网络：将全卷积网络的第5个池化层输出的特征映射进行2倍上采样，并将上采样结果与第4个池化层输出的特征映射进行融合，再将融合结果进行16倍上采样，得到FCN-16s模型下的输出像素级语义标记的全卷积网络；

(2c3)获取FCN-8s模型下的输出像素级语义标记的全卷积网络：分别将全卷积网络的第4、5个池化层输出的特征映射进行2倍、4倍上采样，并将上采样结果与第3个池化层输出的特征映射融合，再将融合结果进行8倍上采样，得到FCN-8s模型下的输出像素级语义标记的全卷积网络；

(3)对输出像素级语义标记的全卷积网络进行训练、测试和验证，得到验证后的输出像素级语义标记的全卷积网络：

(3a)设定语义分割正确率阈值；

(3b)对输出像素级语义标记的全卷积网络进行训练：利用训练样本集对输出像素级语义标记的全卷积网络进行若干次迭代监督训练，得到训练后的输出像素级语义标记的全卷积网络；

(3c)对输出像素级语义标记的全卷积网络进行测试：将测试样本集中的所有原始彩色图像输入到训练后的输出像素级语义标记的全卷积网络中，得到FCN-32s、FCN-16s和FCN-8s三种模型下的像素级语义标记，并将其与测试样本集中的真实语义分割数据进行比对，得到语义分割正确率，若语义分割正确率大于设定的语义分割正确率阈值，得到测试后的输出像素级语义标记的全卷积网络，并执行步骤(3d)，否则执行步骤(3b)；

(3d)对输出像素级语义标记的全卷积网络进行验证：将验证样本集中的所有原始彩色图像输入到测试后的输出像素级语义标记的全卷积网络中，得到FCN-32s、FCN-16s和FCN-8s三种模型下的像素级语义标记，并将其与验证样本集中的真实语义分割数据进行比对，得到语义分割正确率，若语义分割正确率大于设定的语义分割正确率阈值，得到验证后的输出像素级语义标记的全卷积网络，并执行步骤(4)，否则执行步骤(3b)；

(4)将待分割彩色图像I输入到验证后的输出像素级语义标记的全卷积网络中，得到待分割彩色图像I的像素级语义标记；

(5)对待分割彩色图像I进行超像素分割：

(5a)对待分割彩色图像I进行颜色空间转换，得到LAB颜色空间的转换彩色图像I_lab；

(5b)按照六边形分布，在转换彩色图像I_lab上进行初始化，得到平面聚类中心P_a，其中，a表示平面聚类中心编号，且a＝1,2,...,N_P，N_P为平面聚类中心总数；

(5c)在平面聚类中心P_a的范围内搜索边界点，并从搜索到的所有边界点里随机选取一个中值点作为边界聚类中心E_b，其中，b表示边界聚类中心编号，且b＝1,2,...,N_E，N_E为边界聚类中心总数；

(5d)将所有平面聚类中心和边界聚类中心更新为各自3×3邻域内的梯度最小点，得到更新后的平面聚类中心P_a′和边界聚类中心E_b′，然后将更新后的平面聚类中心P_a′和边界聚类中心E_b′作为初始值，利用局部k-means算法对转换彩色图像I_lab的像素点进行分类标记；

(5e)判断平面聚类中心P_a与更新后的平面聚类中心P_a′之间的相对误差值是否小于5％，若是，则将转换彩色图像I_lab的像素点的分类标记作为待分割彩色图像I的最终分类标记，并执行步骤(5f)，否则执行步骤(5d)；

(5f)将待分割彩色图像I里所有具有相同分类标记的像素点分别标记为一个超像素，得到多个超像素；

(6)利用步骤(4)得到的像素级语义标记对步骤(5f)得到的多个超像素分别进行语义标注，得到融合了超像素边缘和全卷积网络输出的高级语义信息的语义分割数据，标注规则为：

(i)若超像素中没有边缘，且超像素中所有像素点的语义标记相同，采用步骤(4)得到的语义标记对超像素进行语义标注；

(ii)若超像素中没有边缘，但超像素中像素点的语义标记不同，采用占比最多的语义标记对超像素进行语义标注；

(iii)若超像素中有边缘，且超像素中所有像素点的语义标记相同，则忽略边缘信息，采用步骤(4)得到的语义标记对超像素进行语义标注；

(iv)若超像素中有边缘，同时超像素中像素点的语义标记不同，采用由不同语义标记的占比确定的语义标记对超像素进行语义标注。

2.根据权利要求1所述的基于超像素边缘和全卷积网络的图像语义分割方法，其特征在于，步骤(6)中所述的采用由不同语义标记的占比确定的语义标记对超像素进行语义标注：

(i)若一类语义标记的占比大于其他语义标记占比的总和，则忽略边缘信息，直接用该占比最大的语义标记对超像素进行语义标注；

(ii)若没有一类语义标记的占比大于其他语义标记占比的总和，则直接用像素级语义标记对超像素中的像素进行语义标注。