[发明专利]一种基于RGB-D物体识别分类器构造方法

摘要

本发明提出一种新的基于RGB‑D物体识别分类器构造方法，主要解决现有的RGB‑D数据库规模小的问题以及训练的RGB‑D分类器对于数据库中存在的稀有物体识别准确率不高的问题，包括：采集物体的RGB模态图片以及同一位姿下的depth模态图片，依次提取出RGB模态图片的特征以及相应的depth模态图片的特征，然后依次人工对采集的RGB模态图片以及depth模态图片进行分析，并加之标签。通过将RGB模态特征以及depth模态特征结合起来一同构建物体分类器。本发明可以应用在物体识别应用上，通过对当前物体进行RGB和depth模态数据采样，可以有效的对当前物体进行类别识别。

主权项

1.一种基于RGB‑D物体识别分类器构造方法，其特征在于、包括如下步骤：步骤一、构建RGB‑D物体识别数据库其中RGB模态数据记为depth模态数据记为步骤二、对采集的RGB‑D图片进行识别分类，人为标定每一张图片的类别，c*∈{1,2,...,C}，其中C表示的我们采集的图片的类别总数；步骤三、利用T＝{t,s,r,c}四个变换操作对采集的图片进行变换；为每张图片创建一个代理类，得到RGB模态代理类训练集和depth模态代理类训练集其中t操作表示的是对图片进行垂直的和水平的移动，s表示对图片进行尺寸的变换操作，r表示对图片进行旋转操作，c表示对图片进行颜色变换操作；步骤四、网络训练过程，利用采集的RGB模态数据所创建的代理类训练物体识别的RGB网络；对输入到RGB训练网络中的图片进行预处理，通过将输入到网络中的图片中最具判别区域进行有选择的遮挡，将这个处理后的图片输入到网络中训练RGB网络；步骤五、网络训练过程，利用采集的depth模态数据所创建的代理类训练物体识别的depth网络，对于depth模态数据，采用与RGB模态数据相同的预处理操作，将处理后的图片输入到depth训练网络中用以训练depth网络；步骤六、网络训练过程，通过分类器融合方法将RGB网络和depth网络融合在一起，构造成RGB‑D物体识别网络；步骤七、网络推理过程，利用RGB‑D物体识别网络中的RGB网络对RGB模态数据进行特征的提取；步骤八、利用RGB‑D物体识别网络中的depth网络对depth模态数据进行特征的提取；步骤九、通过分类器层面的融合，将提取的RGB特征和depth特征融合在一起，融合后的特征记为frgbd；步骤十、将融合后的特征frgbd送入到分类器classifierrgbd中进行物体的识别。