[发明专利]一种基于图像特征的低分辨率深度图像上采样方法

说明书

技术领域

本发明涉及一种深度图像的处理方法，尤其是涉及一种基于图像特征的低分辨率深度图像上采样方法。

背景技术

随着3D（Three-Dimensional，3D）电影和3D电视等商业产业的不断发展和推进，三维视频已经涌入人们的视野之中。与二维视频格式不同，三维视频包含了广泛应用于计算机交互、机器人视觉、3D场景重建的深度信息，深度信息质量的高低将直接影响观看者的立体视觉体验效果；此外，深度信息还可用于基于深度图的绘制技术（Depth Image Based Rendering，DIBR），以实现自由视点视频系统的虚拟视点绘制功能。同时，在三维视频编码标准中，提供深度信息的深度图像被用来减少三维视频的数据量，以达到提升三维视频中深度视频压缩编码性能的目的。深度图像主要由以下两种途径获取：一、基于TOF（Time-of-Fly，TOF）原理的深度感知相机采集获得，基于TOF原理的深度感知相机通过测量内置红外线发射和接收的时间延迟来捕获现实场景的深度信息；二、利用立体匹配技术进行深度估计获取。近年来，随着基于TOF原理的深度感知相机广泛应用于实时获取深度图像，特别是微软Kinect传感器发布以后，RGB-D传感器受到许多用彩色和深度信息解决视觉分析问题的研究人员关注。然而，基于TOF原理的深度感知相机由于受到传感器自身物理因素的限制，其采集的深度图像的分辨率比相应的RGB传感器采集的彩色图像的分辨率低，因此基于TOF原理的深度感知相机采集的深度图像并不能完全表征现实场景的深度信息。

为了解决基于TOF原理的深度感知相机采集的深度图像分辨率较低的问题，科研人员利用RGB传感器采集的高分辨率（high-resolution，HR）彩色图像和基于TOF原理的深度感知相机采集的低分辨率（low-resolution，LR）深度图像，对基于TOF原理的深度感知相机采集的低分辨率深度图像进行上采样，以达到提高低分辨率深度图像质量和分辨率的目的。但是，一般基于高分辨率彩色图像的低分辨率深度图像上采样方法，容易导致上采样后得到的高分辨率深度图像出现边缘模糊，从而降低高分辨率深度图像的质量，降低高分辨率深度视频的准确性，影响其在人机交互、3D场景重建、虚拟视点绘制等等各种场合的应用。

发明内容

本发明所要解决的技术问题是提供一种基于图像特征的低分辨率深度图像上采样方法，其能够有效地抑制低分辨率深度图像上采样过程中出现边缘模糊的现象。

本发明解决上述技术问题所采用的技术方案为：一种基于图像特征的低分辨率深度图像上采样方法，其特征在于包括以下步骤：

①获取一幅与待处理的低分辨率深度图像同一场景的高分辨率彩色图像，然后对高分辨率彩色图像进行最近值下采样操作，并使最近值下采样操作后得到的低分辨率彩色图像的分辨率与待处理的低分辨率深度图像的分辨率一致；

②通过获取低分辨率彩色图像中以每个像素点为中心的3×3的滑动窗口内的所有像素点的像素值的均值和方差、低分辨率深度图像中以每个像素点为中心的3×3的滑动窗口内的所有像素点的像素值的均值和方差、以低分辨率彩色图像和低分辨率深度图像中对应的像素点为中心的3×3的滑动窗口内的像素点的像素值之间的联合均值，获取低分辨率彩色图像中的每个像素点与低分辨率深度图像中对应像素点之间的相关系数；

③通过计算低分辨率深度图像中的每个像素点的水平方向梯度值和垂直方向梯度值，获得低分辨率深度图像的边缘图像，再根据低分辨率深度图像的边缘图像获取低分辨率深度图像的前景边缘掩膜图像；

④根据低分辨率彩色图像中的每个像素点与低分辨率深度图像中对应像素点之间的相关系数，对低分辨率深度图像中与前景边缘掩膜图像中像素值为255的所有像素点对应的所有像素点进行上采样操作；并采用联合双边上采样方法，对低分辨率深度图像中与前景边缘掩膜图像中像素值为0的所有像素点对应的所有像素点进行上采样操作，得到一幅分辨率与高分辨率彩色图像的分辨率一致的初步的高分辨率深度图像；

⑤对低分辨率深度图像中的不连续像素点，通过搜索以不连续像素点为中心的5×5邻域窗口内的所有像素点，将与初步的高分辨率深度图像中坐标位置与不连续像素点相对应的像素点的像素值差值最小的像素点的像素值作为最终的高分辨率深度图像中坐标位置与不连续像素点相对应的像素点的像素值；对低分辨率深度图像中的连续像素点，直接将初步的高分辨率深度图像中坐标位置与连续像素点相对应的像素点的像素值作为最终的高分辨率深度图像中坐标位置与连续像素点相对应的像素点的像素值。