[发明专利]一种基于图像清晰度差异的深度估计方法

说明书

技术领域

本发明属于3D图像处理技术领域，更为具体地讲，涉及一种基于图像清晰度差异的深度估计方法。

背景技术

2010年1月，《阿凡达》等3D电影的全球热播引发了3D技术的研究热潮。2012年1月央视3D频道开播，促进了3D产业的进一步发展。3DTV是继高清电视（HDTV）之后电视技术领域一场新的技术革新。

3DTV作为下一代视频广播系统，还有许多问题需要解决，其中深度估计（depth estimation）是其关键技术之一。

深度估计是指从景物的一幅或多幅图像中自动、有效地提取深度信息。根据是否需要人工控制，深度估计可以分为主动（active）深度估计和被动（passive）深度估计两种方式。主动深度估计需要人为的对测量环境进行控制来获取深度，而被动深度估计则不需要控制成像系统与环境，常用的被动深度估计有双目（多目）视觉、运动三维检测、单目视觉等方法。

双目视觉将两个或多个摄像机拍摄的物体二维图像进行对比匹配，如果在对比中发现物体上某个特征点存在于图像的相同位置则说明此点位置在两摄像机镜头的轴线交点上，通过找到物体特征的不匹配量即可确定该特征点位置。

运动三维检测则是使用一个摄像机在不同的时间和空间对物体拍摄大量序列图像，利用序列图像的时空变化情况得到物体的信息。与双目视觉类似，这种方法也需要找到序列图像上物体的对应特征点。

以上两种方法均需要提取出图像中的物体特征点，并计算其变化量，而提取物体特征比较复杂且存在蔽塞以及遮挡等难以解决的问题。蔽塞是指目标中的某个特征点检测到在两幅图像中位置是一样的，说明该特征点正好位于两摄像机的中心轴线的交点处，这种情况下立体视觉获取存在局限性；遮挡是指特征点在一个摄像机拍摄的场景中可见，在另个摄像机拍摄的场景中不可见，这时无法找到对应的特征点对，此时无法估计目标的深度。所以这两种方法很难做到实时性，满足实际应用和需求可能行小。

单目视觉有两种测量方法：聚焦法及散焦法。

聚焦法（Depth From Focus，简称DFF）通过摄像机在不同的光学参数下获取大量序列图像，在对图像进行分析后找到清晰度最大的图像，然后根据几何光学中物体成像的模型求取物体的深度信息。此方法测量精确度高，但需要调整摄像机拍摄大量图像，比较费时，不适用于即时深度估计。

散焦法（Depth Form Defocus，简称DFD）则是利用两幅或者多幅散焦程度不同的图像，通过对比图像的模糊程度来求取物体的深度信息，此方法回避了双目视觉中特征点匹配的问题，也不需要对物体拍摄大量的序列图像，使用比较方便。

上述算法均是对于被动视觉的两幅或多幅图像的深度估计，而对于单幅图像，由于无法获取景物目标的视差信息，只能通过图像自身的一些特征和先验知识来获得有限的线索以完成深度估计，因此具有较高的技术难度。各个国家的许多科研人员对此作了大量和深入的研究。

Saxena在Make 3D项目及相关研究中采用了结合了高斯和拉普拉斯算子的MPF（马尔科夫随机场模型）来描述图像中各点的深度及彼此间的深度关系。并通过监督学习方法对场景进行训练和估计，对非结构化、相机参数未知的大范围复杂场景深度估计有相对理想的效果。但是此算法计算复杂耗时，而且每更换一个新的场景，原有的模型将失效，需要重新采集相应的深度数据进行训练，不能满足即时深度估计且硬件实现十分困难。

Hoiem在假设图像场景内的所有景物对象都是垂直直立于地面的基础上，提出一套完整的单幅图像深度估计方法．该方法以像素块为单位提取颜色、纹理等特征，然后使用adboost分类方法将整个图像分解为地面、天空、直立景物等，最后对图像中的地面区域建立3维模型，并依据图像中景物对象和地面的相交位置重构出整个三维场景。

李乐等人通过分析理解街景图像内景物之间的构图关系，依据其中蕴含的深度认知线索估计街景图像的深度信息，对Hoiem的上述算法进行了改进。

以上三种关于被动视觉单视点单幅图像的深度估计均有较好的效果，但其计算复杂，Saxena的算法还需监督学习，现阶段很难做到实时性。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于图像清晰度差异的深度估计方法，以降低单视点单幅图像深度估计的计算复杂性，满足图像处理的实时性要求。

为实现上述目的，本发明基于图像清晰度差异的深度估计方法，其特征在于，包括以下步骤：

（1）、将彩色的单视点单幅图像转换为灰度图像；