[发明专利]一种基于超像素深度网络的室内场景语义分割方法

权利要求书

1.一种基于超像素深度网络的室内场景语义分割方法，该方法包括以下步骤：

(1)对RGB颜色图像使用简单线性迭代聚类分割算法SLIC得到超像素集合；

(2)计算每一个超像素的最小包围矩形；

(3)基于超像素深度网络RCN提取图像的颜色特征与深度特征；

(4)使用每一个超像素的最小包围矩形，在颜色与深度的多层次特征图上进行裁剪和重塑操作，得到每一个超像素颜色多层次特征表示与深度多层次特征表示；

(5)融合超像素颜色多层次特征与深度多层次特征得到超像素特征，对超像素进行分类，实现室内场景语义分割；

所述步骤(1)中简单线性迭代聚类分割算法SLIC包括以下分步骤：

(1.1)确定分割得到的超像素的数量K；

(1.2)对于一张有N个像素的图像，以步长为初始化K个聚类中心c_j，1≤j≤K；

(1.3)将聚类中心点c_j移至它的3x3邻域内的最小梯度位置，其坐标记为(x_j,y_j)；

(1.4)给每一个像素点i，其坐标记为(x_i,y_i)，设置一个标签l(i)＝-1，以及距离d(i)＝∞；

(1.5)将图像由RGB颜色空间转换到LAB颜色空间；

(1.6)对于每个中心点c_j，在它的2S×2S的邻接区域中，根据公式(1)计算区域内每个像素点i与c_j的距离d_s；

其中，d_lab表示第j个聚类中心c_j与像素点i的颜色差异，d_xy表示第j个聚类中心c_j与像素点i的空间距离，而d_s是颜色距离和归一化的空间距离的加权和；变量m用来权衡颜色距离和空间距离对像素相似度的影响，m越大，空间距离影响越大，超像素更紧凑；m越小，颜色距离影响越大，超像素更贴合图像边缘；

(1.7)若d_s＜d(i)，则置l(i)＝l(c_j)，d(i)＝d_s；

(1.8)重复步骤(1.6)-(1.7)，直到所有聚类中心点c_j的邻接区域都被搜索；

(1.9)计算每个超像素的重心，将其做为超像素新的聚类中心；

(1.10)计算新聚类中心与旧聚类中心的距离E；

(1.11)如果E小于给定的阈值，算法收敛；否则重复步骤(1.6)-(1.10)；

所述步骤(2)中，对于每一个超像素找出属于该超像素的最左、最右、最上和最下的四个像素相应的坐标，取最左像素的坐标x₀与最上像素的坐标y₀组成最小包围矩形左上角的坐标值(x₀,y₀)；取最右像素的坐标x₁与最下像素的坐标y₁组成最小包围矩形右下角的坐标值(x₁,y₁)；使用两个坐标值(x₀,y₀)与(x₁,y₁)表示超像素的最小包围矩形；

所述步骤(3)中，包括计算图像多层次颜色特征和图像多层次深度特征的卷积层(Conv1，Pool1；Conv2，Pool2；Conv3，Pool3；Atrous Conv4，Pool4；Atrous Conv5，Pool5)；

其特征在于：所述步骤(4)中假设输入图像的大小为(H₀,W₀)，特征图大小为(H,W)，超像素SP的最小包围矩形对应于输入图像的左上角和右下角坐标为(x₀,y₀)与(x₁,y₁)；

裁剪特征图的具体方法如下：

(a.1)计算特征图相对输入图像的缩放比例(sh,sw)，其中

(a.2)将超像素SP的最小包围矩形左上角和右下角坐标按照特征图相对输入图像的比例进行缩放且记为(x₀',y₀')与(x₁',y₁')，其中

(a.3)特征图上左上角坐标为(x₀',y₀')与右下角坐标为(x₁',y₁')的矩形框所包围的特征图即为超像素SP的特征图；

重塑操作使用双线性插值方法：假设重塑操作输入的特征图大小为H'×W'，输出的特征图大小为1×1；具体步骤如下：

(b.1)计算输出特征图上像素点在超像素SP特征图上的位置坐标(x_r,y_r)，其计算为公式(2)：

(b.2)在输入特征图上选取距离坐标(x_r,y_r)最近的四个坐标(x_r1,y_r1)、(x_r1,y_r2)、(x_r2,y_r1)以及(x_r2,y_r2)，其中x_r1≤x_r,y_r1≤y_r,x_r2≥x_r,y_r2≥y_r；

(b.3)根据公式(3)计算输出特征图的特征值F；

F₁₁、F₁₂、F₂₁、F₂₂分别是特征图上(x_r1,y_r1)、(x_r1,y_r2)、(x_r2,y_r1)以及(x_r2,y_r2)位置对应的特征值。