[发明专利]基于前景背景融合的单目图像深度图提取方法

说明书

技术领域

本发明涉及一种单目图像深度图提取方法，属于计算机视觉的三维图像重建技术领域。

背景技术

近年来，随着社会经济的发展和科技水平的提高，3D产业迅猛发展，然而，利用立体摄像机和距离传感器捕捉三维素材成本昂贵，操作困难，而且需要耗费大量时间。因此，二维图像的三维化重建工作成为3D及图像处理领域的研究热点。二维图像指普通摄像机拍摄的单目图像，由单目图像恢复场景的深度信息，可以合成三维立体图像效果。

二维图像的三维化重建过程中最关键的步骤是实现二维图像深度图的提取。目前深度图提取算法中有不少在提取图像深度图时需要依赖图像的相机参数。但是，对于某些已有的二维图像，其相机参数的获取并不简单，甚至比较困难或不可能。因此，探索一种仅依赖二维图像的内容，而忽略其相机参数的深度图提取算法具有很大的发展前景。

斯坦福大学三维重建组首先提出利用机器学习的方法估计单目图像深度图，主要流程包括：基于过分割的图像超像素描述；超像素特征提取；马尔科夫随机场概率模型建立。该方法奠定了利用机器学习思想估计单目图像深度图的基础。随后，斯坦福大学的Liu等人利用场景语义标签，估计单目图像深度图，他们认为具有相似语义的场景具有相似的深度。最近，伊利诺伊大学的Karsch等人，使用非参数采样的方法从单目视频中提取深度信息。但以上学习方法得到的深度图边界模糊，场景位置关系并不清晰，目标深度图与真实深度图之间的差异较大。

利用几何线索估计图像深度图，可以反映图像深度的大致分布。几何线索主要包括消失线索、结构线索等。然而，单纯利用几何线索估计深度图，约束信息过少，估计深度图不能反映细节深度，只能反映深度图的大致分布趋势。

结合前景背景的深度图提取方案曾在视频深度图提取算法中被提出，依靠Structure-from-Motion（SFM）算法提取相机参数、前后帧之间的运动估计提取显著区域。近年来，利用显著度检测提取前景信息，从而实现结合前景背景的深度图提取被提出，但是这些算法大大提高了运算复杂度。另外，前景背景融合的系数仅依赖于经验值，存在较大的误差。

发明内容

本发明所要解决的技术问题在于针对单目图像深度图提取技术的不足，提供一种基于前景背景融合的单目图像深度图提取方法，避免了普通三维图像重建方法中所需的利用SFM计算相机参数的过程，更为简单实用且易于操作；并且得到的深度图边界更清晰，相对位置关系正确。

本发明基于前景背景融合的单目图像深度图提取方法，包括以下步骤：

步骤A、采用非参数化机器学习的方法，提取原始单目图像的前景深度图；

步骤B、对原始单目图像，采用线性透视方法估计具有整体分布趋势的背景深度图；

步骤C、按照以下公式对原始单目图像的前景深度图、背景深度图进行全局融合，得到所述原始单目图像最终的深度图：

D_fuse=αD_f+(1-α)D_b，

式中，D_fuse表示融合后的深度图；D_f为前景深度图；D_b为背景深度图；α为范围在[0，1]的全局平衡系数，其具体取值采用以下方法预先确定：步骤1、选取一个测试样本数据库，其中每一个测试样本包括一幅单目图像及其相应的真实深度图；

步骤2、对每一个测试样本中的单目图像，分别按照步骤A、步骤B中的方法获取其前景深度图、背景深度图；并通过求解以下数学模型，得到该训练样本的最优平衡系数α：