[发明专利]基于RGB特征与深度特征的原始图像层融合方法及系统

权利要求书

1.一种基于RGB特征与深度特征的原始图像层融合方法，包括如下步骤：

第一步，分别采集同一物体同一时刻同一场景的RGB图像与深度图像；

第二步，获取单独的基于RGB图像的物体识别准确率与基于深度图像的物体识别准确率；

第三步：通过决策树算法为MMSAE算法初始化参数；

第四步：MMSAE算法有差异性地提取RGB图像和深度图像的有效特征并将所述有效特征融合，获取融合图像的识别准确率；

第五步：判断所述融合图像的识别准确率是否高于系统设定阈值，若所述识别准确率不高于设定阈值，则返回第三步，若所述识别准确率高于设定阈值，则输出识别后的物体图像。

2.根据权利要求1所述的基于RGB特征与深度特征的原始图像层融合方法，其特征在于：所述第二步具体包括如下步骤：

SAE算法提取浅层特征：分别输入深度图像与RGB图像,通过SAE算法分别提取深度图像的浅层特征与RGB图像的浅层特征；

SPMP算法提取高层抽象特征：分别输入深度图像的浅层特征及RGB图像的浅层特征，通过SPMP算法分别提取深度图像的高层抽象特征与RGB图像的高层抽象特征；

K交叉验证拆分训练集：将深度图像的高层抽象特征与RGB图像的高层抽象特征输入到softmax分类器，通过交叉验证获得单独的基于RGB图像的识别准确率以及基于深度图像的识别准确率。

3.根据权利要求2所述的基于RGB特征与深度特征的原始图像层融合方法，其特征在于：所述RGB的浅层特征至少包括RGB彩色特征或/和边缘特征，所述深度图像的浅层特征至少包括三维空间形状。

4.根据权利要求3所述的基于RGB特征与深度特征的原始图像层融合方法，其特征在于：所述通过SAE算法分别提取深度图像的浅层特征与RGB图像的浅层特征具体步骤为：

将采集的图片大小缩放至r×r，从RGB图像和深度图像中分别随机提取h个图像块，每个图像块的长和宽均为s；

分别使用RGB图像块和深度图像块作为输入，训练两个KSAE算法模型，其中一个用于提取RGB图像的浅层特征，另一个用于提取深度图像的浅层特征；

训练完成后，分别使用两个所述KSAE作为映射函数，从每张RGB图像和深度图像中以卷积的方式按像素逐一提取颜色特征和形状特征；

设KSAE的隐层节点个数为q，计算卷积后得到颜色特征和形状特征均为一个大小为t×t×q的三维矩阵，其中t＝r-s+1；

对所述三维矩阵进行平均池化，降低所述颜色特征和形状特征的维度，获得所述深度图像的浅层特征与RGB图像的浅层特征。