[发明专利]图像深度恢复方法和装置

说明书

本发明实施例提供一种图像深度恢复方法和装置，所述图像深度恢复方法包括获取参考散斑影像和物体散斑影像；对参考散斑影像和物体散斑影像均进行第一预处理，获得参考散斑特征影像和物体散斑特征影像；对物体散斑特征影像进行阴影检测，获得阴影掩膜；基于参考散斑特征影像和物体散斑特征影像，获得匹配代价特征；基于匹配代价特征和阴影掩膜，进行多路径动态规划，获取路径代价；基于路径代价，获取视差匹配代价，基于视差匹配代价，获取视差值为最小视差匹配代价处的视差值；基于视差值，获取深度数据。本发明实施例提供的图像深度恢复方法，消除了阴影区域带来的误匹配问题，提升了深度数据的精度，适用于灰暗和特征不明显的环境。

技术领域

本发明涉及3D传感测量技术领域，更具体地，涉及一种图像深度恢复方法和装置。

背景技术

随着机器视觉和自动驾驶等颠覆性技术的逐步发展，采用深度数据进行物体识别、行为识别和场景建模的相关应用越来越多。普通的影像数据只是简单地记录下相机视角内的所有物体，对于物体离相机的距离，没有确切的数据，只能通过图像的语义来分析来判断物体离相机的远近。深度数据是图像中的每个点离摄像头的距离，加上该点在2D图像中的坐标，我们能获取该点的三维空间坐标，通过三维空间坐标能还原真实场景，实现场景建模等应用。

第一种深度数据恢复方法是将获取的场景图像与参考图像进行匹配，匹配算法采用按行搜索和计算寻找最小值的方式。该方法没有充分利用散斑影像的全图信息和多路径约束，严重影响了深度数据的精度。

第二种深度数据恢复方法是在行搜索计算像素匹配代价的基础上，增加路径代价迭代传播和多方向约束密集匹配的思想。密集匹配是一个能量优化的过程，密集匹配的最终结果是得到一个稠密的深度图，即恢复每个像素的深度数据。该方法在灰暗的环境以及特征不明显的情况下并不适用。

发明内容

本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的图像深度恢复方法、装置、电子设备和可读存储介质。

第一方面，本发明实施例提供一种图像深度恢复方法，包括：获取参考散斑影像和物体散斑影像；对所述参考散斑影像和所述物体散斑影像均进行第一预处理，获得参考散斑特征影像和物体散斑特征影像；对所述物体散斑特征影像进行阴影检测，获得阴影掩膜；基于所述参考散斑特征影像和所述物体散斑特征影像，获得匹配代价特征；基于所述匹配代价特征和所述阴影掩膜，进行多路径动态规划，获取路径代价；基于所述路径代价，获取视差匹配代价，基于所述视差匹配代价，获取视差值为最小视差匹配代价处的视差值；基于所述视差值，获取深度数据。

在一些实施例中，所述基于匹配代价特征和所述阴影掩膜，进行多路径动态规划，获取路径代价包括：对于任一像素点，若遇到传播路径上所述任一像素点的阴影掩膜标记为阴影点，则将所述任一像素点的代价置为无效值，并将下一点作为新的起点重新开始迭代计算，直至获取所述路径代价。

在一些实施例中，所述对于任一像素点，若遇到传播路径上所述任一像素点的阴影掩膜标记为阴影点，则将所述任一像素点的代价置为无效值，并将下一点作为新的起点重新开始迭代计算，直至获取所述路径代价包括：

当mask(p-r)≠255mask(p)≠255时，

L_r(p,d)＝C_SAD(p,d)+min(L_r(p-r,d),L_r(p-r,d-1)+P₁,L_r(p-r,d+1)+P₁,min_i(L_r(p-r,i))+P₂))-min_k(L_r(p-r,k))；

当mask(p-r)＝255mask(p)≠255时，

L_r(p,d)＝C_SAD(p,d)；