[发明专利]立体图像处理方法、立体图像处理装置和显示装置

说明书

本专利申请要求于2010年12月20日提交的第2010-0283014号日本专利申请以及于2011年11月2日提交的第10-2011-0113460号韩国专利申请的优先权，该申请的全部内容通过引用合并于此。

技术领域

这里，本发明构思涉及一种立体图像处理方法、立体图像处理装置和显示装置。

背景技术

最近，显示立体图像(诸如3D TV等)的设备已成为流行的消费者电子装置。在显示从用于双眼的立体图像(即，立体对(stereo-pair)图像)产生的3D图像之前，使用从立体对图像提供深度信息并使用提取的深度信息的方法。立体对图像包含场景的并排的两个视图。所述两个视图中的一个用于左眼，所述两个视图中的另一个用于右眼。

图1是为了说明通过立体匹配从立体对图像提取深度信息的方法而注解的模拟立体对图像的示图。

为了提取深度信息，在由(I)所示的立体对图像中，在左图像(L)和右图像(R)之间搜索对应点(立体匹配)。使用立体匹配来从左图像(L)提取深度信息以表示其深度。如(II)所示，左图像(L)和深度信息D被保存为信息，并且使用该信息来执行3D显示。

在执行立体匹配的事件中，当左图像和右图像的对象的高度(垂直方向的位置)互相调整时，对应点可被有效地搜索。然而，在使用立体相机拍照的事件中，存在左相机和右相机的水平状态不一致的许多情况。如图2中所示，在右相机朝左相机倾斜并且左相机和右相机的水平状态彼此不一致的事件中，由于左图像和右图像的对象的高度没被互相调整，因此对应点不被精确地搜索。

使用平行方法和交叉方法来完成使用立体相机拍照。当使用交叉方法拍照时，由于拍摄本身的特征，如图3中所示，在拍摄的图像中发生梯形失真(梯形失真效应)。在这种情况下，对象的高度不被调整。

在输入的立体对图像中存在左相机和右相机的高度的差的事件中，如果这样执行立体匹配并且准备关于二维图像的深度信息，则对应点不能被精确地搜索。

因此，当在由立体相机拍摄的图像上搜索对应点时，在左图像和右图像中的对象的高度需要通过任何预处理被调整。

传统地，各种方法已被用于调整左图像和右图像中的对象的高度。通常使用的方法是通过对极几何(Epipolar geometry)的平行化。在各种方法中，在拍照之前预先使用公开的已知模式来执行校准(即，用于实现第一图像和第二图像的平行的平行化)的方法是通用的。然而，由于必须使用公开的已知模式对立体图像和摄影师执行平行化，因此当在显示装置中表示3D显示时，其不能应用于已经拍摄的立体图像。

用于实现平行的另一方法是通过对极几何，存在一种执行自校准的方法(参考第2007-200364号日本公开)。所述方法不预先使用公开的已知模式执行平行化，而是使用具有直线的图像(建筑物、路线等)中的差异模式(distinguishing pattern)来执行平行化。然而，在该方法中，存在这样的问题：在图像的场景中需要直线边缘，还存在这样的问题：拍摄所述直线的误差会很大，并且平行化不被精确地执行。

存在用于执行平行化的另一方法，所述方法基于图像的扫描线的方向与对极线一致的前提，基于左图像和右图像的相关性，在右图像中搜索与左图像的行对应的行，从而调整左图像和右图像的高度。

发明内容

本发明构思的一方面提供了一种立体图像装置。所述立体图像装置可包括：图像输入单元，接收立体对图像；代表点选择单元，在立体对图像的第一图像中选择多个代表点；对应点控制单元，在立体对图像的第二图像中检测与所述多个代表点对应并排除被判断为偏离点的对应点的多个对应点；偏离值计算单元，判断对应点是否是偏离点；近似曲线计算单元，对除了被排除的偏离点之外的所有对应点执行曲线近似；高度校正值计算单元，从通过曲线近似而绘制的多条近似曲线，对第二图像中的每个像素插入高度校正值；平行化执行单元，基于高度校正值执行第二图像的平行化；图像输出单元，输出第一图像以及执行了平行化的第二图像。

本发明构思的实施例还提供了一种处理立体图像的方法。所述方法可包括：输入立体对图像；在立体对图像的第一图像中选择多个代表点；在立体对图像的第二图像中检测与所述多个代表点对应的多个对应点；判断所述多个对应点中的每个是否是偏离点，并排除被判断为偏离点的对应点；对除了偏离点之外的对应点执行曲线近似；从通过曲线近似而绘制的多条近似曲线，插入第二图像的像素的高度校正值；基于高度校正值执行第二图像的平行化；输出第一图像以及执行了平行化的第二图像。