[发明专利]一种室内场景RGB-D图像的语义标注方法

权利要求书

1.一种室内场景RGB-D图像的语义标注方法，其特征在于：该方法包括以下步骤：

(1)采用gPb/UCM算法对RGB-D室内场景图像进行超像素分割；

(2)超像素特征提取：执行Patch特征计算、超像素特征表示；

(3)超像素组特征提取：执行实例超像素组的构建并对其特征进行提取、执行类超像素组的构建并对其特征进行提取；

(4)超像素组特征向量化：定义高斯分量之间的常数距离、执行实例超像素组特征向量化、执行类超像素组特征向量化；

(5)度量学习：学习优化矩阵L、基于优化矩阵L标注测试样本；

所述步骤(5)中学习优化矩阵L为：

公式(23)是度量学习的目标函数，其中M是待优化的半正定马氏矩阵，利用样本点i对M进行优化，样本点i对应的特征向量为表示样本j是样本点i的理想邻居，样本j的特征向量记为l是距离样本i过近的样本，其特征向量记为ξ_ijl是约束项，大于零即可，与样本无关，μ＝0.5平衡拉力与斥力之间的权重，当样本i,l标签一致时y_il＝1否则y_il＝0，

y_il)ξ_ijl subject to：

(1)

(2)ξ_ijl≥0

(3)

求解公式(23)得到半正定矩阵M，矩阵M分解为LL^T,L为优化矩阵，取与的并集得到基于S^train学习优化矩阵L；

基于优化矩阵L标注测试样本为：

待标注的测试实例超像素组表示为按照公式(24)计算测试样本的类别标签：

是测试实例的特征向量，带有类别标注class的训练样本特征向量，找到使与距离最小的记为v_i，v_i的类别是测试实例的类别；

所述步骤(3)中执行实例超像素组的构建并对其特征进行提取：

一张图像上假设成为一个实例的K个超像素，组成一个实例超像素组，第k个超像素特征为F_segk，该实例超像素组的特征表示为F＝{F_seg1,F_seg2,…,F_segK}，利用最大期望算法EM基于超像素组特征F建立高斯混合模型公式(16)，该实例超像素组特征用高斯分量集合G＝{g₁,g₂,…,g_m}表示

高斯混合模型G(F_seg)由若干个高斯分量g_i(F_seg)加权求和表示，其中F_seg是随机变量，第个高斯分量g_i服从普通的高斯分布为g_i(F_seg)～N(F_seg|μ_i,∑_i)，第个权重由最大期望算法EM获得，μ_i是第个高斯分量的期望，是一个向量；是第个高斯分量的方差，是一个方阵；

所述步骤(3)中类超像素组及其特征提取为：

只有训练样本可以构建类超像素组，给定所有训练样本图像，标注为第类的若干超像素块的集合称为类超像素组，第类包含P个超像素，该类特征表示为同样利用EM算法对建立高斯混合模型，得到mj个高斯分量，该类超像素组特征表示为集合训练样本共有N类，类超像素组特征表示为集合共包含个高斯分量；

所述步骤(4)中定义高斯分量之间的常数距离为：

两个高斯分量之间的距离采用Kullback-Leibler Divergence距离，

高斯分量g_i和g_j之间的距离按照公式(17)计算

将公式(17)带入公式(18)得到两个高斯分量g_i和g_j的常数距离K(g_i，g_j)

K(g_i，g_j)＝exp{-[KLD(g_i||g_j)+KLD(g_j||g_i)]/2t²} (18)

其中t为经验参数，验证实验中取值70；

执行实例超像素组特征向量化为：

计算实例超像素组特征G的第i个高斯分量g_i与类超像素组特征H_all的每一个高斯分量之间的常数距离，作为实例超像素组的一个特征向量按照公式(19)计算：

该实例超像素组的特征向量集合表达

1)训练样本的实例超像素特征向量化：将所有的训练样本图像按照步骤(3)提取实例超像素组特征，再将每一个实例超像素组的高斯分量特征按照公式(19)向量化,向量化后的实例超像素组特征向量组成训练样本实例特征集合为公式(20)

其中T是所有训练样本中实例的个数；

2)测试样本的实例超像素特征向量化：将一个实例超像素组的所有高斯分量特征按照公式(19)向量化，组成向量集合其中表示第n个高斯分量的向量化特征；

执行类超像素组特征向量化为：

计算类超像素组特征H_all的每一个高斯分量h_k与类超像素组特征H_all的每一个高斯分量之间的常数距离，作为类超像素组的一个高斯分量的特征向量通过公式(21)计算：

所有向量化的类超像素组特征组成训练样本类特征集合为公式(22)