[发明专利]一种深度图的超分辨率处理方法

权利要求书

1.一种深度图的超分辨率处理方法，其特征在于：包括以下步骤：首先，在第一位置和第二位置对同一场景进行图像采集，分别获取第一原始图像（S1）和第二原始图像（S2）；获取所述第一原始图像（S1）的低分辨率深度图（d）；其次，进行如下处理：

1）将所述低分辨率深度图（d）划分为多个深度图像块；

2）对步骤1）得到的各个深度图像块分别进行如下处理：

21）采用多种超分辨率处理方法分别对当前块进行超分辨率处理，得到多个与所述第一原始图像（S1）相同分辨率的初始的高分辨率深度图像块；

22）遍历步骤21）得到的多个高分辨率深度图像块，分别结合所述第一原始图像（S1）中对应当前块的相应图像块，采用图像合成技术，根据所述第一位置和所述第二位置的相对位置关系，合成得到多个对应所述第二原始图像（S2）的图像块，定义为多个合成图像块；

23）遍历步骤22）中得到的多个合成图像块，分别计算各个合成图像块与所述第二原始图像（S2）中对应当前块的相应块的匹配程度，确定匹配程度最高的合成图像块，将所述匹配程度最高的合成图像块对应的高分辨率深度图像块确定为当前块的最终的高分辨率深度图像块；

3）按照各个深度图像块在所述低分辨率深度图（d）中的位置，将各个深度图像块的高分辨率深度图像块整合成一幅图像，得到所述低分辨率深度图（d）的超分辨率处理图像。

2.根据权利要求1所述的深度图的超分辨率处理方法，其特征在于：所述步骤22）中采用图像合成技术时，包括以下步骤：a）采用基于深度图像绘图方法，根据高分辨率深度图像块的深度信息，使用参考相机将所述第一原始图像（S1）中所述相应图像块投影到三维空间；b）以参考相机的中心对应所述第一位置，按照所述第二位置相对于所述第一位置的相对位置关系设置虚拟相机的中心，采用所述虚拟相机将步骤a）得到的三维空间的场景成像到二维平面，从而得到合成图像块。

3.根据权利要求2所述的深度图的超分辨率处理方法，其特征在于：所述步骤a）中进行投影时，按照如下方程投影到三维空间：

(X_w，Y_w，Z_w)^T＝K_l^-1d_lp₁

其中，以参考相机的中心为世界坐标系中心，从参考相机观察的方向为坐标系的z轴方向；p₁表示所述第一原始图像（S1）中所述相应图像块中的像素点p₁的位置信息，取齐次形式；d₁为所述高分辨率深度图像块中对应像素点p₁的深度信息，K₁为参考相机的内置参数矩阵，(X_w，Y_w，Z_w)是像素点p₁投影到三维空间中的点的坐标。

4.根据权利要求2所述的深度图的超分辨率处理方法，其特征在于：所述步骤b）中将三维空间的场景成像到二维平面时，按照如下方程成像到二维平面：

d₂p₂＝K₂R₂P_w  K₂R₂C₂

其中，以参考相机的中心为世界坐标系中心，从参考相机观察的方向为坐标系的z轴方向；C₂为虚拟相机的中心的坐标，R₂为虚拟相机的旋转矩阵，K₂为虚拟相机的内置参数矩阵，P_w为步骤a）中得到的三维空间中的点的坐标，p₂和d₂分别为成像到二维平面得到的合成图像块中相应像素点的位置和深度信息；将方程式右边的运算结果转化成齐次形式：m（x，y，1），p₂即为（x，y），d₂即为系数m。

5.根据权利要求1所述的深度图的超分辨率处理方法，其特征在于：所述步骤3）中整合成一幅图像之后，还包括对所述图像进行平滑性处理。

6.根据权利要求1所述的深度图的超分辨率处理方法，其特征在于：获取所述低分辨率深度图（d）时，采用深度相机在所述第一位置对所述场景进行图像采集，从而获取所述低分辨率深度图（d）。