[发明专利]一种基于RGB-D物体识别分类器构造方法

权利要求书

1.一种基于RGB-D物体识别分类器构造方法，其特征在于、包括如下步骤：

步骤一、构建RGB-D物体识别数据库其中RGB模态数据记为depth模态数据记为

步骤二、对采集的RGB-D图片进行识别分类，人为标定每一张图片的类别，c^*∈{1,2,...,C}，其中C表示的我们采集的图片的类别总数；

步骤三、利用T＝{t,s,r,c}四个变换操作对采集的图片进行变换；为每张图片创建一个代理类，得到RGB模态代理类训练集和depth模态代理类训练集其中t操作表示的是对图片进行垂直的和水平的移动，s表示对图片进行尺寸的变换操作，r表示对图片进行旋转操作，c表示对图片进行颜色变换操作；

步骤四、网络训练过程，利用采集的RGB模态数据所创建的代理类训练物体识别的RGB网络；对输入到RGB训练网络中的图片进行预处理，通过将输入到网络中的图片中最具判别区域进行有选择的遮挡，将这个处理后的图片输入到网络中训练RGB网络；

步骤五、网络训练过程，利用采集的depth模态数据所创建的代理类训练物体识别的depth网络，对于depth模态数据，采用与RGB模态数据相同的预处理操作，将处理后的图片输入到depth训练网络中用以训练depth网络；

步骤六、网络训练过程，通过分类器融合方法将RGB网络和depth网络融合在一起，构造成RGB-D物体识别网络；

步骤七、网络推理过程，利用RGB-D物体识别网络中的RGB网络对RGB模态数据进行特征的提取；

步骤八、利用RGB-D物体识别网络中的depth网络对depth模态数据进行特征的提取；

步骤九、通过分类器层面的融合，将提取的RGB特征和depth特征融合在一起，融合后的特征记为f_rgbd；

步骤十、将融合后的特征f_rgbd送入到分类器classifier_rgbd中进行物体的识别；

所述步骤七中利用RGB网络对RGB模态数据进行特征提取的过程如下：首先将采集的图片归一化处理，然后将归一化后的图片送入到5层的卷积网络中，卷积后接一个池化层，得到特征图，将得到的特征图输入到三层全连接网络中得到特征图f_rgb；

所述步骤八中利用depth网络对depth模态数据进行特征提取的过程如下：首先将采集的图片归一化成大小一致，然后将这归一化后的图片送入到5层的卷积网络中，通过5层的多层感知机得到输入到网络中的特征图的热图区域，通过随机的选择热图中三分之一的区域中进行遮挡，将这个遮挡后的图片输入到池化层中，得到特征图，将得到的特征图输入到两层全连接网络中，获得特征图f_depth。

2.根据权利要求1所述的基于RGB-D物体识别分类器构造方法，其特征在于：所述步骤九中将提取的两种模态特征融合起来构造融合特征f_rgbd，融合的方法为：将得到的f_rgb和f_depth按照通道维度拼接在一起，如果是卷积层，则利用公式：来计算卷积层后的特征图的h和w，其中l表示的是第l层网络，feature_l表示的第l层的特征图，stride_l表示的是卷积核移动的步长大小；如果是池化层，则利用公式来计算，池化层后的特征图的h和w，其中kernel表示池化层的池化核大小；h代表的是输入到该层网络中特征图的长度，w表示的输入该层网络中特征图的宽度。

3.根据权利要求2所述的基于RGB-D物体识别分类器构造方法，其特征在于：所述步骤十中，分类器的分类计算如下：抽取一个测试样本的融合特征，输入到分类器中，训练好的分类器通过SoftMax对输入的RGB-D物体图像返回C个数值，然后通过计算哪一个数值最大来预测该物体所属的类别。