[发明专利]一种基于超像素集的室内场景语义标注方法

权利要求书

1.一种基于超像素集的室内场景语义标注方法，其特征在于，包括以下几个步骤：

1)超像素分割

使用gPb/UCM算法进行图像的超像素分割，通过图像局部、全局特征计算像素属于边界的概率值将gPb/UCM算法分别应用于彩色图像和深度图像，按照公式(1)计算式(1)中，是基于彩色图像计算得到的像素属于边界的概率值，是基于深度图像计算得到的像素属于边界的概率值；

依据公式(1)得到的概率值和设定的概率阈值0.08，按照八连通原则，将概率值小于0.08的像素连成一个区域，每个区域即为一个超像素；

2)Patch特征计算

Patch定义为16×16大小的网格，以k个像素为步长，固定步长k值为2，从彩色图像RGB和深度图像Depth左上角向右向下进行滑动，最终在彩色图像RGB和深度图像Depth上形成密集的网格；以分辨率为N*M的场景图像为例，最终得到的Patch数量为针对每个Patch计算四类特征：深度梯度特征DepthGradient、彩色梯度特征Gradient、彩色特征RGB、纹理特征Texture；

2.1深度梯度特征

深度图像中的Patch记为Z^d，对每个Z^d计算深度梯度特征F_{g_d}，其中第t个分量的值由公式(2)定义：

公式(2)中，z^d∈Z^d表示像素z^d在深度Patch中的相对二维坐标位置；和分别表示像素z^d的深度梯度方向和梯度大小；和分别为深度梯度基向量和位置基向量，两组基向量为预定义值；d_g和d_s分别表示深度梯度基向量个数和位置基向量个数；是在上应用核主成分分析(KPCA)得到的第t个主成分的映射系数，表示克罗内克积；和分别为深度梯度高斯核函数和位置高斯核函数，和为对应高斯核函数的参数；最后，利用EMK算法对深度梯度特征进行变换，变换后的特征向量仍然记为F_{g_d}；

2.2彩色梯度特征

彩色图像中的Patch记为Z^c，对每个Z^c计算彩色梯度特征F_{g_c}，其中第t个分量的值由公式(3)定义：

公式(3)中，z^c∈Z^c表示一个像素z^c在彩色图像Patch中的相对二维坐标位置；和分别表示像素z^c的梯度方向和梯度大小；和分别为彩色梯度基向量和位置基向量，两组基向量为预定义值；c_g和c_s分别表示彩色梯度基向量个数和位置基向量个数；是在上应用核主成分分析(KPCA)得到的第t个主成分的映射系数，表示克罗内克积；和分别为彩色梯度高斯核函数和位置高斯核函数，和为对应高斯核函数的参数；最后，利用EMK算法对彩色梯度特征进行变换，变换后的特征向量仍然记为F_{g_c}；

2.3彩色特征

彩色图像中的Patch记为Z^c，对每个Z^c计算彩色特征F_col，其中第t个分量的值由公式(4)定义：

公式(4)中，z^c∈Z^c表示像素z^c在彩色图像Patch中的相对二维坐标位置；r(z^c)为三维向量，是像素z^c的RGB值；和分别为彩色基向量和位置基向量，两组基向量为预定义值；c_c和c_s分别表示彩色基向量个数和位置基向量个数；是在上应用核主成分分析(KPCA)得到的第t个主成分的映射系数，表示克罗内克积；和分别为彩色高斯核函数和位置高斯核函数，和为对应高斯核函数的参数；最后，利用EMK算法对彩色特征进行变换，变换后的特征向量仍然记为F_col；

2.4纹理特征

首先将RGB场景图像变换为灰度图，灰度图像中的Patch记为Z^g，对每个Z^g计算纹理特征F_tex，其中第t个分量的值由公式(5)定义：

公式(5)中，z^g∈Z^g表示像素z^g在灰度图像Patch中的相对二维坐标位置；S(z^g)表示以像素z^g为中心的3×3区域内像素灰度值的标准方差；lbp(z^g)为像素z^g的局部二值模式特征(Local Binary Pattern，LBP)；t分别为局部二值模式基向量和位置基向量，两组基向量为预定义值；g_b和g_s分别表示局部二值模式基向量个数和位置基向量个数；是在上应用核主成分分析(KPCA)得到的第t个主成分的映射系数，表示克罗内克积；和分别为局部二值模式高斯核函数和位置高斯核函数，和为对应高斯核函数的参数；最后，利用EMK(Efficient Match Kernel)算法对纹理特征进行变换，变换后的特征向量仍然记为F_tex；

3)超像素特征计算

超像素特征F_seg定义如(6)式：

分别表示超像素深度梯度特征、彩色梯度特征、彩色特征和纹理特征，定义如(7)式：

(7)式中，F_{g_d}(p)，F_{g_c}(p)，F_col(p)，F_tex(p)表示第p个中心位置落入超像素seg内的Patch的特征，n表示中心位置落入超像素seg内的Patch的数量；

超像素几何特征按(8)式定义：

(8)式中各分量定义如下：

超像素面积A^seg＝∑_s∈seg1，s为超像素seg内的像素；超像素周长P^seg定义如(9)式：

公式(9)中，N、M分别表示RGB场景图象的横、纵向分辨率；seg、seg′表示不同的超像素；N₄(s)是像素s的四邻域集合；B_seg是超像素seg的边界像素集合；

超像素的面积周长比R^seg定义如(10)式：

是基于像素s的x坐标s_x、y坐标s_y、x坐标与y坐标乘积分别计算的二阶Hu矩，定义如式(11)、(12)、(13)

公式(14)中分别表示超像素所包含像素的x坐标均值、y坐标均值、x坐标均值平方、y坐标均值平方，定义如式(14)：

Width，Height分别表示图像宽度和高度，即基于归一化的像素坐标值进行计算；

D_var分别表示超像素seg内像素s深度值s_d的平均值，深度值s_d平方的平均值、深度值方差，定义如式(15)：

D_miss表示超像素中丢失深度信息的像素的比例，定义如式(16)：

N^seg是对应于超像素的点云的主法向量模长，其中超像素对应点云的主法向量通过主成分分析法(PCA)估计；

4)超像素集特征计算

4.1基于超像素集建立高斯混合模型(GMM)

超像素集合对每个超像素依据步骤3计算特征F_seg，利用最大期望算法基于特征向量集合{F_seg|seg∈SP}建立高斯混合模型G(x)，模型形式如(17)式：

其中，m_g表示高斯分量个数，N(x|μ_ii，∑_ii)表示第ii个高斯分量，μ_ii和∑_ii分别表示第ii个高斯分量的均值向量和协方差矩阵，w_ii为第ii个高斯分量在高斯混合模型中的权值；

4.2高斯分量映射到希尔伯特空间

基于训练样本中第r个语义类别对应的超像素集合依据步骤4.1建立对应于第r个语义类别的高斯混合模型，得到高斯分量集合记所有C个语义类别对应的高斯混合模型所包含高斯分量的集合为

任一高斯分量g_l到希尔伯特空间的映射记为k_l，k_l的计算如公式(18)：

其中，tr表示矩阵的迹，即矩阵对角线元素的乘积；det表示行列式；D＝|F_seg|是超像素特征的维度；μ和∑分别是高斯分量的均值向量和协方差矩阵，∑^-1是协方差矩阵∑的逆；

4.3希尔伯特空间变换到欧式空间

记希尔伯特空间中向量k_l映射到低维欧式空间中的向量为Z_l，则有

Z_l＝A^Tk_l (19)

式(19)中A为正交矩阵；A＝[α₁，α₂，...，α_C-1]∈R^N×(C-1)，其中N^r是第r个语义类别的高斯混合模型中高斯分量的个数，C是语义类别的数量，即N是C个语义类别的高斯混合模型包含的高斯分量总的数量；A是求解(20)式得到的前C-1个特征向量α₁，α₂，...α_C-1；

Bα＝λWα (20)

式(20)中，α为特征向量，λ为特征值，B和W的计算如公式(21)

其中，m_r，w_r计算如公式(22)

其中，C是语义类别的数量，N^r是第r个语义类别高斯混合模型中高斯分量的个数，是第r个语义类别的高斯混合模型中第j_r个高斯分量的权值，是第r个语义类别的高斯混合模型中第j_r个高斯分量映射到希尔伯特空间的高维向量；

4.4语义类别的特征表示

对第r个语义类别的高斯混合模型的每一个高斯分量依据式(18)将其映射到希尔伯特空间得到向量再依据式(19)降维到欧式空间得到向量则第r个语义类别的一组高斯分量变换为记即为第r个语义类别的特征表示；

5)测试样本识别分类

测试样本S_te为一组超像素，依据步骤4.1构建高斯混合模型得到一组高斯分量再依据式(18)将映射到希尔伯特空间，最后依据式(19)降维到欧式空间得到向量集合即为测试样本的特征表示；

设l(r)表示第r个语义类别的语义标签，L′(z_te)、L(z_te)分别表示测试样本的候选类别标签及最终类别标签；对测试样本的每个特征向量计算其与所有类别特征向量的夹角，与特征向量夹角最小的类别特征向量所属语义类别l(r)是测试样本的候选类别标签，如式(23)所示；

其中

{1，2，...，C}，n^r∈[1，N^r] (23)

依据式(24)定义的投票规则计算测试样本与语义类别的距离，包含最多与测试样本特征向量夹角最小的类别特征向量的所属语义类别即是测试样本的最终语义类别；

式(24)中，C为语义类别的数量。