[发明专利]一种RGB‑D图像变尺度超体素分割方法

权利要求书

1.一种RGB-D图像变尺度超体素分割方法，其特征在于，包括以下步骤：

步骤1、种子点选取，设一帧RGB-D图像数据为P，分辨率为m行n列，每个数据点的信息包含3个颜色通道(r,g,b)和1个深度通道(d)；从P中随机选取一个点p₀(数字0为下标)作为初始种子点，设置半径阈值R作为待生成种子点间的最小距离，使用泊松碟采样算法在P中采样得到种子点集合；

步骤2、对超体素进行预分割，将数据中各点的颜色空间从RGB转换为Lab，将深度值d转换为三维空间坐标(x,y,z)，之后以各种子点为聚类中心，综合颜色距离和三维空间距离迭代计算非种子点与种子点间的距离，得到初始超体素分割结果；

步骤3、对超体素进行融合，以初始超体素为顶点，各超体素间邻接关系为边构造无向图G＝(V,E)，使用各初始超体素的Lab颜色空间距离和法向量方向夹角度量相邻超体素间的差异，通过合并初始超体素得到变尺度超体素，完成了对RGB-D图像变尺度超体素的分割。

2.根据权利要求1所述的RGB-D图像变尺度超体素分割方法，其特征在于，步骤1中种子点选取具体包括以下步骤：

步骤1-1、在一帧RGB-D图像数据P中随机选取一个点p₀作为初始种子点，将活跃采样点队列L₁初始化为空，把p₀加入L₁，将非活跃采样点队列L₂初始化为空；

步骤1-2、判断活跃采样点队列L₁是否为空，如果L₁不为空，则从L₁中出队一个点p_i，以p_i为圆心，R和2R为半径的同心圆区域内随机选择候选采样点，若候选采样点与已有种子点的距离大于R则将其加入L₁；如果尝试K次仍没有符合条件的候选采样点，则将p_i从L₁中删除，并加入L₂；其中R采用像素坐标单位，K为预设的数值；

步骤1-3、L₂中的点即为所选种子点。

3.根据权利要求1或2所述的RGB-D图像变尺度超体素分割方法，其特征在于，步骤2中对超体素预分割具体包括以下步骤：

步骤2-1、将RGB-D图像中点的深度值转换为三维空间坐标，设P中第i行第j列的点为p_ij，其深度值为d_ij，使用式(1)将深度值转换为三维空间坐标：

$p_{ij}{(x,y,z)}^T=d_{ij}{(\frac{i-c_x}{f},\frac{j-c_y}{f},1)}^T---\left(1\right)$

其中f为摄像机的焦距，(c_x,c_y)为图像的中心坐标，用标准的颜色空间转换公式将P中各点的RGB颜色转换为Lab颜色，将P中的点都表示为6维向量[l,a,b,x,y,z]；

步骤2-2、以步骤1得到的个种子点为初始聚类中心，进行区域搜索聚类，计算各聚类中心2R*2R邻域范围内的点与该聚类中心的距离，将每一个非聚类中心点归类于和它特征距离最小的聚类中心以完成第一次聚类过程，P中两点p_i和p_j之间的特征距离度量公式如下：

$D(p_i,p_j)=d_{lab}+\mathrm{\λ}\frac{d_{xyz}}{R}---\left(2\right)$

$d_{lab}=\sqrt{{(l_i-l_j)}^2+{(a_i-a_j)}^2+{(b_i-b_j)}^2}---\left(3\right)$

$d_{xyz}=\sqrt{{(x_i-x_j)}^2+{(y_i-y_j)}^2+{(z_i-z_j)}^2}---\left(4\right)$

式(2)中，d_lab为颜色距离，d_xyz为空间距离，λ为用于决定颜色信息和空间距离信息的权重，λ越大空间距离越重要，λ越小颜色距离越重要；

步骤2-3、迭代聚类过程，根据步骤2-2第一次聚类的结果，重新计算每个类的聚类中心；新的聚类中心特征值为每一类所有点特征的平均值，然后在一类中寻找与新的聚类中心特征值最接近的点作为新的聚类中心点，按照2-2中特征距离计算和归类方法重新计算各非聚类中心点所属类别；迭代k次结束；迭代计算结束后，每一类中的点即形成一个初始超体素。

4.根据权利要求1所述的三维点云点法向量估计方法，其特征在于，步骤3中超体素融合，具体包括以下步骤：

步骤3-1、设初始分割的得到的超体素集合为C，每个超体素为c_i，以超体素c_i为顶点v_i建立顶点集合V，有公共边界的相邻超体素v_i，v_j间建立边e_ij形成边集E，以V和E构建无向图G；根据P中点的三维空间坐标，使用标准的k近邻点坐标协方差矩阵主成分分解方法计算各点的法向量，然后用式(5)给G的每条边赋以权值w(v_i,v_j)

$w(v_i,v_j)=\mathrm{\α}\frac{|{\stackrel{\‾}{l}}_i-{\stackrel{\‾}{l}}_j|}{l_{max}}+(1-\mathrm{\α})\frac{{\mathrm{\θ}}_{ij}}{\mathrm{\π}}---\left(5\right)$

${\mathrm{\θ}}_{ij}={\cos }^{-1}\left(\frac{{\stackrel{\→}{n}}_i\·{\stackrel{\→}{n}}_j}{\left|{\stackrel{\→}{n}}_i\right|\left|{\stackrel{\→}{n}}_j\right|}\right)---\left(6\right)$

其中，l_max分别为超体素c_i中所有点的平均亮度和最大亮度，θ_ij为超体素c_i和c_j的法向量夹角，超体素的法向量取为该超体素中所有点的法向量均值，α为权重因子；

步骤3-2、对初始超体素进行合并，将合并前各超体素初始化为一个区域A_i，v_k和v_l是区域A_i中的两个超体素，定义内部不相似度为该区域最小生成树的最大边，如式(7)所示

Int(A_i)＝max w(v_k,v_l),v_k,v_l∈A_i,(v_k,v_l)∈E(7)

用式(8)定义两个区域A_i和A_j的外部不相似度，其中v_m是区域A_i中的超体素，v_n是区域A_j中的超体素

Dif(A_i,A_j)＝min w(v_m,v_n),v_m∈A_i,v_n∈A_j,(v_m,v_n)∈E (8)

MInt(A_i,A_j)为A_i和A_j这两个区域的最小内部不相似度，之后用式(9)计算

MInt(A_i,A_j)＝min((Int(A_i)+τ(A_i)),(Int(A_j+τ(A_j)))(9)

其中τ(A_i)＝e/|A_i|，|A_i|为区域A_i包含点的个数，e为设定的常数；

之后对两个区域的外部不相似度和内部不相似度进行比较，如果满足式(10)则合并这两个区域，否则不合并

MInt(A_i,A_j)<Dif(A_i,A_j) (10)

区域合并过程一直进行到P中的区域没有可以合并的为止，得到变尺度超体素。