[发明专利]一种基于图像序列的RGB-D相机深度图像修复方法

说明书

本发明涉及一种基于图像序列的RGB‑D相机深度图像修复方法，其特征在于利用图像序列中连续帧的RGB图像进行特征点提取并进行匹配，通过求解PnP问题，计算获取两幅图像间的相机相对位姿变化，将前一帧深度图像上的像素重投影到当前帧深度图像。上述过程重复执行，从而实现当前帧深度图像的修复。

技术领域

本发明涉及图像处理及计算机视觉领域，具体地说是一种基于图像序列的RGB-D相机深度图像修复方法。

背景技术

计算视觉在现实生活中有着广泛的应用，但日常使用的RGB相机只能获取视野的色彩信息，而RGB-D相机在提供常用RGB图像的同时，能够提供对应的深度信息，RGB-D相机的推出迅速引起了开发人员的兴趣。但目前所使用的RGB-D相机所获取的深度图像质量较低，在环境中存在光滑表面或者遮挡时，相机无法获得深度信息，从而在深度图像上形成较大“孔洞”。这些孔洞严重影响了深度图像的应用。

目前的方法主要针对单幅深度图像进行修复，如联合滤波方法、基于图像分割的方法。前者对“孔洞”进行迭代修复，误差会逐渐累积。而后者当划分的图像块内有效像素较少时，会产生“过拟合”。

发明内容

针对现有不足，本发明提出了基于图像序列的RGB-D相机深度图像修复方法，利用相机对场景观测获得的时序信息，实现对当前帧深度图像的部分修复。

本发明为实现上述目的，所采用的技术方案是：

使用针眼模型对RGB-D相机标定，包括：RGB相机与深度相机的内部参数标定；RGB相机与深度相机的相对位置参数标定。

经过标定的相机，可对深度图像进行投影变换，并调整RGB的大小，使深度图像满足与RGB图像的像素间的一一对应关系。一种基于特殊点的图像匹配方法，包括：

步骤1：利用两帧的RGB图像进行匹配，得到匹配的特征点对集合。

步骤2；对匹配完成的特征点对进行筛选，得到满足匹配要求的特征点对。

所述相机相对位姿计算包括以下步骤：

步骤1：将上一帧中已匹配的特征点投影到三维空间。

步骤2：利用上一阶段得到的匹配信息，通过求解PnP问题，计算两帧间的相机位姿变化。

所述重投影过程包括以下步骤：

步骤1；上一帧深度图像重投影。利用上述步骤得到的相机相对位姿变化，将上一帧深度图像逐像素重投影到当前深度图像平面。

步骤2：对当前帧深度图像修复。对当前深度图像进行遍历，若像素值不存在，则选择上一帧投影的像素进行修复。

附图说明

附图仅用来对本发明进行辅助性解释，作为本发明申请内容的一部分，并不对本发明产生限定。附图包含：

图1是本发明的程序流程图；

图2是本发明的两帧RGB图像匹配结果；

图3是本发明的使用效果图(图像来自公开数据集RGB-D Scenes Dataset：https://rgbd-dataset.cs.washington.edu/),左图为原始图像，右图为经过帧间重投影修复得到的结果。

具体实施方式

下面将结合附图以及具体实施案例来详细说明本发明的实施方式，案例为本发明的示意性案例，并不作为本发明的限定。

本发明的实施案例如下：