[发明专利]一种生成高分辨率深度图的方法、系统及计算设备

说明书

技术领域

本发明属于计算机视觉领域，尤其涉及一种生成高分辨率深度图的方法、系统及计算设备。

背景技术

在计算机视觉领域，深度图用以表示场景中各点相对于摄像机的距离，即是说，深度图中的每一像素点表示场景中某一点与摄像机之间的距离。自从微软的kinect深度图像传感器商业应用后，出现了更多地基于三维深度图像的服务与产品，比如微软的xbox One体感游戏器，Leap motion的体感控制器等。

当前的深度图像传感器采集到的深度图像大部分为低分辨率深度图，为了获得高分辨率深度图，现有技术是采用双边滤波等上采样算法对深度图像传感器采集到的低分辨率深度图进行放大处理，以将低分辨率深度图直接转换为高分辨率深度图。但受现有的上采样算法本身的制约，该种方式得到的高分辨率深度图中的轮廓边缘会由于数据平滑效应而产生错误深度数据，显示效果较差。

发明内容

本发明实施例的目的在于提供一种生成高分辨率深度图的方法，旨在解决现有技术采用上采样算法直接将低分辨率深度图转换为所需的高分辨率深度图，得到的高分辨率深度图中的轮廓边缘会由于数据平滑效应而产生错误深度数据，显示效果较差的问题。

本发明实施例是这样实现的，一种生成高分辨率深度图的方法，所述方法包括以下步骤：

采集同一场景的低分辨率深度图和第一低分辨率亮度图，所述第一低分辨率亮度图与所述低分辨率深度图的尺寸一致；

对所述低分辨率深度图进行上采样处理，得到高分辨率粗略深度图，计算所述高分辨率粗略深度图中的图像轮廓，得到所述高分辨率粗略深度图对应的轮廓图，所述高分辨率粗略深度图与所述轮廓图的尺寸一致；

根据局部搜索策略，利用所述第一低分辨率亮度图，在所述低分辨率深度图中查找与所述轮廓图中的轮廓区块最相似的区块，并采用加权拼接方式将查找到的区块填入所述高分辨率粗略深度图的相应位置，得到高分辨率深度图。

本发明实施例的另一目的在于提供一种生成高分辨率深度图的系统，所述系统包括：

图像采集模块，用于采集同一场景的低分辨率深度图和第一低分辨率亮度图，所述第一低分辨率亮度图与所述低分辨率深度图的尺寸一致；

第一图像处理模块，用于对所述低分辨率深度图进行上采样处理，得到高分辨率粗略深度图，计算所述高分辨率粗略深度图中的图像轮廓，得到所述高分辨率粗略深度图对应的轮廓图，所述高分辨率粗略深度图与所述轮廓图的尺寸一致；

第二图像处理模块，用于根据局部搜索策略，利用所述第一低分辨率亮度图，在所述低分辨率深度图中查找与所述轮廓图中的轮廓区块最相似的区块，并采用加权拼接方式将查找到的区块填入所述高分辨率粗略深度图的相应位置，得到高分辨率深度图。

本发明实施例的另一目的在于提供一种计算设备，所述计算设备包括如上所述的生成高分辨率深度图的系统。

本发明提出的生成高分辨率深度图的方法及系统是在采用上采样算法将低分辨率深度图转换为高分辨率粗略深度图后，进一步得到该高分辨率粗略深度图的轮廓图，之后利用低分辨率亮度图，在低分辨率深度图中查找到与轮廓图中各交叠的轮廓区块最相似的区块，之后采用加权拼接方式将查找到的区块填入高分辨率粗略深度图的相应位置，得到高分辨率深度图。相对于现有技术，由于是在得到高分辨率粗略深度图后，还进一步将低分辨率深度图中的像素信息补充到该高分辨率粗略深度图中，纠正了由于数据平滑效应而在轮廓边缘产生的错误深度数据，弥补了单纯应用上采样方式的不足，得到的最终的高分辨率深度图的显示效果佳，且运算速度快，特别适用于三维重建、三维电视节目传输与制作、体感互动应用等领域，具有广泛的应用价值。

附图说明

图1是本发明实施例一提供的生成高分辨率深度图的方法的流程图；

图2是本发明实施例一中根据局部搜索策略搜索相似区块并将区块填入高分辨率粗略深度图以得到高分辨率深度图的详细流程图；

图3是本发明实施例一中在低分辨率深度图中查找与轮廓图中的轮廓区块最相似的区块的详细流程图；

图4a是本发明实施例一中第一低分辨率亮度图的实例图；

图4b是本发明实施例一中低分辨率深度图的实例图；

图4c是本发明实施例一中高分辨率粗略深度图的实例图；

图4d是本发明实施例一中轮廓图的实例图；

图4e是本发明实施例一中第二低分辨率亮度图的实例图；

图4f是本发明实施例一中高分辨率亮度图的实例图；

图4g是本发明实施例一中高分辨率深度图的实例图；