[发明专利]基于RGB-D的室内场景物体分割分类器构造方法

权利要求书

1.一种基于RGB-D的室内场景物体分割分类器构造方法，其特征在于：包括如下步骤：

步骤一、对室内场景采集RGB模态图片以及depth模态图片；

步骤二、统计RGB模态图片和depth模态图片中包含的物体种类，然后对图片中的每一个像素进行类别标记；

步骤三、将采集的RGB模态图片输入到嵌入RPN模块的全卷积网络中的RGB子网络中，同时将采集到的depth模态图片输入到RPN模块的全卷积网络中的depth子网络中，同时对RGB模态图片和depth模态图片进行特征提取，分别得到RGB子网络输出的特征f_rgb以及depth子网络输出的特征f_depth；

步骤四、定义RGB-D损失函数，将RGB子网络和depth子网络连接在一起构建一个RGB-D多模态网络结构用以训练一个基于RGB-D的室内场景物体分割逐像素分类器classifier_rgbd；

所述RGB-D损失函数定义如下：

其中，

如上，λ和γ是一个平衡因子，用来平衡RGB模态数据和depth模态数据在计算损失的时候的比例，α、β也是一种平衡因子，用来平衡Reg网络以及Seg网络中在最终计算loss中所占的比重，N表示锚点位置数量，当j是属于锚点的时候反之Iⁱ表示的是第i个RGB训练数据，Dⁱ表示的是第i个depth训练数据，标签lⁱ∈{0,1,...,C}，给定的训练数据中每个像素对应一个标签值，是第i个训练数据对应的包围盒标签，表示对输入的第i个RGB训练数据通过权重w以及相应的参数θ计算所得的一个像素分类结果，其中k表示的是第k个像素，表示的是第i个RGB训练数据从分类层映射到标签域的权重，表示的是从分类层前一层基于参数抽取的特征表达；

步骤五、在网络推理的阶段，将测试样本RGB-D数据按照数据模态分别输入到训练好的RGB-D多模态网络中，RGB子网络对输入的RGB模态图片提取f_rgb，depth子网络对输入的depth模态图片提取f_depth，将提取的两种模态特征拼接在一起，输入到逐像素分类器classifier_rgbd中进行室内场景物体的检测与分割。

2.根据权利要求1所述的基于RGB-D的室内场景物体分割分类器构造方法，其特征在于：所述步骤三中，RGB子网络包含两个部分，其中负责室内场景物体检测的网络定义为Reg网络，负责室内场景语义分割的网络定义为Seg网络，利用RGB子网络对输入的RGB模态数据进行特征提取的过程如下：将图片输入到如下Reg网络中提取出输入网络中的室内场景图像中的每个物体的位置；

同时将输入到网络中的RGB图像输入到Seg网络中提取出输入网络中的室内场景图像中的每个像素的类别

C(3,64,1)-C(3,64,1)-C(3,64,1)-C(3,128,1)-C(3,128,1)-C(3,256,1)-C(3,256,1)-C(3,256,1)-C(3,512,1)-C(3,512,1)-C(3,512,1)-C(3,512,1)-C(3,512,1)-ASPP(6,12,18,24)

其中，C代表网络中的卷积操作，C(k,n,s)中k表示的是卷积核的核大小，n表示的是卷积核的个数，s表示的卷积操作中卷积核移动的步长大小，ASPP(d₁,d₂,d₃,d₄)给出的是带孔卷积的空间金字塔池化层结构，其中d₁,d₂,d₃,d₄表示的是带孔卷积的卷积核填充幅度大小。

3.根据权利要求1所述的基于RGB-D的室内场景物体分割分类器构造方法，其特征在于：所述步骤一中，利用微软深度传感器Kinect对室内场景进行采集，采集的过程可以手持Kinect在室内中匀速行走。