[发明专利]基于RGB特征与深度特征的原始图像层融合方法及系统

说明书

技术领域

本发明涉及一种机器视觉及图像融合领域，具体的说，是涉及一种基于RGB特征与深度特征的原始图像层融合方法及系统。

背景技术

图像融合是将两个或两个以上的传感器在同一时间或不同时间获取的关于某个具体场景的图像或者图像序列信息加以综合，以生成新的有关此场景解释的处理信息，而这种信息无法从单一的图像源中获取，融合后可以获取更可靠，更丰富，更准确的有用信息。

深度学习是机器学习领域的一个新的研究热点，其目的是建立多层神经网络，能模仿人脑的机制来分析和解释图像、音频和文本等数据。深度学习通过组合浅层特征形成更加抽象的高层特征，以发现数据的更深层次的分布式特征表示。深度学习引起了计算机视觉领域的一场变革，许多研究者和现代科技公司都将目光投向了如何将深度学习应用到各种工业领域中，并已经取得了一定的效果。目前深度学习在图像识别、场景识别、物体追踪等方面都已经取得了显著的效果，表现出极大的应用价值。

图像识别是计算机视觉领域最重要也是最困难的问题之一，在过去的研究工作中，基于RGB图像和灰度图像的图像识别工作取得了极大地进展。但是由于RGB图像和灰度图像自身的局限性，图像识别在计算机视觉领域的应用并不是很成功。例如在室内机器人应用方面，由于识别精度达不到指定的要求，图像识别在室内机器人的应用上一度陷入瓶颈。提高图像识别的准确率对于自主式机器人的普及具有决定性的意义。

20世纪初，有学者提出手动特征提取方法，该方法主要借助于基于方向直方图的精心设计的特征，例如SIFT特征和HOG特征，而且这些特征也取得了很好的成果。然而这些手动提取的特征仅仅能够捕捉到少量的识别信息。例如SIFT特征虽然对于旋转、尺度缩放和亮度变化保持一定的不变性，但是忽略了颜色信息而且该方法通过对特征点构造向量，然后对向量进行匹配，这样图像就得满足足够多的纹理，否则构造出来的向量的判别性就不是很大。为了适用于新的数据模态例如RGB-D图像，Lai等人在《A large-scale hierarchical multi-view rgb-d object dataset》中仅仅对SIFT算法进行一些简单的扩展，使其能够适用于深度图像。后来，有些学者曾提出过无监督特征学习方法。无监督特征学习方法可以从图像数据中学习到更具能力的图像表示。自从Hinton等人在《Hinton G E,Salakhutdinov R R.Reducing the dimensionality of data with neural networks》一文中提出信念信息网络(DBN)以及对应的学习算法，紧接着分层稀疏编码以及基于K-means的特征学习算法被相继提出。虽然这些算法在物体识别方面都取得了很大的成功，但是他们通常只是基于RGB图像或灰度图像。虽然可以直接把这些算法运用到RGB-D图像上，但是却不能充分利用多模态图像所携带的信息并且计算复杂。以上所述的文献，都反映了图像融合研究的一个问题，很难设计出一种能够适用于各类图像的融合算法，因此在实际应用中一般针对不同的图像库开发不同的图像融合算法，目前已有的算法无法满足对深度图像和RGB图像的融合。基于以上算法的不足，我们提出一种RGB特征和深度特征原始图像层融合算法。采用新一代传感技术的RGB-D相机(如Kinect相机)能够同时记录高分辨率的RGB图像和深度图像。RGB-D相机可拍摄高分辨率的RGB-D图像同时包含RGB图像和深度图像两种图像。RGB图像包含物体的表面颜色信息和纹理信息，深度图像包含物体的空间形状信息，他不随亮度和颜色的变化而变化。RGB图像和深度图像对彼此是一种有效的补充。研究表明，基于RGB-D图像的物体识别，可明显提高物体识别的准确率。如何利用深度学习技术有效的结合RGB图像和深度图像来提高物体的识别准确率成为了深度学习领域的一个新的研究方向。

现有的基于RGB-D图像识别的研究工作过程中，存在一个普遍的现象：由于RGB信息或者深度信息区别力较低或者信息缺失等原因，某些类别物体的基于RGB特征或者深度特征的识别准确率相对较低。这种情况下，将RGB特征和深度特征进行串联并作为物体的最终特征来进行物体识别，不仅不会提升物体的识别准确率，反而会导致最终的识别准确率低于单独的基于RGB特征或者深度特征的识别准确率。。