[发明专利]基于区域遮罩的深度图像与RGB图像的智能融合方法

说明书

技术领域

本发明涉及一种基于区域遮罩的深度图像与RGB图像的智能融合方法，属于机器视觉及图像融合领域。

背景技术

图像融合是将两个或者两个以上的传感器在同一时间或者不同时间获取的关于某个具体场景的图像或者图像序列信息加以综合，以生成新的有关此场景解释的处理信息，而这种信息无法从单一的图像源中获取，融合后可以获取更可靠，更丰富，更准确的有用信息。

在此之前，已公开了许多有关图像融合算法的专利。例如，公开号为CN1932882，名称为《基于目标检测的红外与可见光序列图像特征级融合方法》的专利利用小波变换的方法对红外图像与可见光图像进行融合。公开号为CN102117483A，名称为《不同空间分辨率的多光谱遥感图像融合方法》的专利对多分辨率的遥感图像进行融合。公开号为CN102402855A，名称为《用于智能交通的双摄像机实时全景视频融合方法及系统》的专利则是针对多源的视频图像提出了新的算法。公开号为CN102288963A，名称为《基于子孔径参数估计的双基地ISAR图像融合方法》的专利提出了针对多源ISAR图像的融合方法。公开号为CN102184534，名称为《一种利用多尺度高帽选择变换的图像融合方法》的专利提出了新的尺度变换的图像融合方法。公开号为CN1402191，名称为《基于块分割的多聚焦图像融合方法》的专利提出了一种新的多聚焦图像的融合方法。

以上所公开的专利文献，都反映了多源图像融合研究的一个问题：很难设计出一种能够适应各类图像源的图像融合算法，因此在实际应用中一般针对不同的图像源开发不同的图像融合算法，现有的算法无法满足对深度图像与RGB图像的融合。

发明内容

本发明的目的是提供一种基于区域遮罩的融合深度图像与RGB图像的方法。

为了达到上述目的，本发明的技术方案是提供了一种基于区域遮罩的深度图像与RGB图像的智能融合方法，其特征在于，步骤为：

第一步、在同一时刻采集同一场景的深度图像与RGB图像，选取深度图像与RGB图像的大区域不变性关联特征，该大区域不变性关联特征的检测或描述对图像的各种变化保持不变；

第二步、利用大区域不变性关联特征进行图像配准，将深度图像与RGB图像的坐标系统一；

第三步、在配准后的深度图像中，设置感兴趣的深度范围，得到新的只包含感兴趣的深度范围的新深度图像，感兴趣的深度范围指目标物体距离相机的空间距离的范围；

第四步、对新深度图像进行梯度运算，得到深度梯度图G(x，y)，利用边缘梯度特征为新深度图像中的目标物体产生遮罩Q(x，y)或者采用模式识别的方法为新深度图像中的目标物体产生遮罩Q(x，y)；

第五步、将遮罩Q(x，y)与配准后的RGB图像进行融合。

优选地，所述第二步中进行图像配准的具体步骤为：

分别选取深度图像与RGB图像中的大区域不变性关联特征，对深度图像与RGB图像分别进行特征提取，得到深度图像特征点及RGB图像特征点；对深度图像特征点及RGB图像特征点进行相似度量，找到匹配的特征点对；通过特征点对求出深度图像与RGB图像的坐标变换参数，统一深度图像与RGB图像的坐标系；进行图像配准。

优选地，所述第三步的具体步骤为：

配准后的深度图像为D₂(x，y)，其中，d_ij(0≤i≤m，0≤j≤n)表示深度图像中各个物体到相机的距离，设感兴趣的深度范围δ，则新深度图像为D₂′(x，y)，其中，