[发明专利]图像处理方法和设备

说明书

本申请要求于2011年6月10提交到美国专利商标局的第61/495,436号美国临时专利申请以及2011年11月14日提交到韩国知识产权局的第10-2011-0118334号韩国专利申请的优先权权益，所述申请的公开通过引用其全部包含于此。

技术领域

一个或多个实施例涉及一种图像处理方法和设备，更具体地，涉及一种可使用参考层执行针对输出图像内的空洞的空洞恢复的方法和设备。

背景技术

三维(3D)显示装置可显示3D图像以增强观看者感受的真实感和投入感。

为了对在各种视点观看图像的观看者提供3D效果，输出视图图像可能需要在各种视点被产生。可通过对若干输入视图图像进行内插或通过对单个输入视图图像进行外插来产生输出视图图像。当使用少量输入视图图像产生多个输出视图图像时，需要一种可对在输入视图图像中不可见而在输出视图图像中可见的区域进行处理的方法。这样的区域可被称为“空洞(hole)”。在现有技术中，可针对每个输出视图图像独立执行空洞填充，而无需考虑所有可用的图像数据。也就是说，在现有技术中，针对每个输出图像独立执行空洞恢复，从而迫使进行多次空洞恢复程序步骤。

发明内容

通过提供一种图像处理方法来实现前述和/或其他方面，所述图像处理方法包括：使用至少一个输入视图产生关于参考视点的参考层；使用所述至少一个输入视图产生输出视点图像；使用参考层执行针对输出视点图像内的空洞的空洞恢复。每个输入视图可包括图像和视差信息，参考层可包括图像和视差信息。

所述至少一个输入视图可以是左输入视图和右输入视图。

参考视点可以是左输入视图的视点与右输入视图的视点之间的视点。

参考视点可以是所述至少一个输入视图中的中心输入视图的视点。

产生参考层的步骤可包括：使用所述至少一个输入视图产生参考视点图像和参考视点视差信息；产生关于参考视点的空洞图，其中，在所述空洞图中，与每个输出视点图像内的空洞相关的信息被收集；使用空洞图、参考视点图像和参考视点视差信息来产生初始参考层；通过执行针对初始参考层内的空洞的空洞恢复来产生参考层。

可基于包括在参考视点图像中的像素的视差之间的差来产生空洞图。

可通过在参考视点图像和空洞图之间执行AND运算来产生初始参考层的图像。

可使用与初始参考层内的空洞邻近的背景来执行针对初始参考层内的空洞的空洞恢复。

当第一像素的第一视差比与第一像素的左侧邻近的第二像素的第二视差至少大一阈值时，从第一像素的右侧起的像素可被设置为空洞，并且所述像素的数量可与第一视差和第二视差之间的差成比例；

当第一像素的第一视差比与第一像素的右侧邻近的第三像素的第三视差至少大一阈值时，从第一像素的左侧起的像素被设置为空洞，并且所述像素的数量与第一视差和第三视差之间的差成比例。

产生输出视点图像的步骤可包括：从所述至少一个输入视图选择至少一个参考视图；通过使用参考视图视差信息将参考视图图像扭曲至输出视点来产生输出视点图像；

执行空洞恢复的步骤可包括：通过使用参考层的视差信息将参考层图像扭曲至输出视点，来产生输出视点的参考层图像；将与输出视点的参考层图像中的空洞对应的区域复制到所述空洞。

可提供多个输出视点图像。

通过提供一种图像处理设备来实现前述和/或其他方面，所述图像处理设备包括：参考层产生器，用于使用至少一个输入视图产生关于参考视点的参考层；输出视点图像产生器，用于使用所述至少一个输入视图产生输出视点图像；空洞恢复单元，用于使用参考层执行针对输出视点图像内的空洞的空洞恢复。每个输入视图可包括图像和视差信息，参考层可包括图像和视差信息。

参考层产生器可包括：参考视点图像/视差信息产生器，用于使用所述至少一个输入视图产生参考视点图像和参考视点视差信息；空洞图产生器，用于产生关于参考视点的空洞图，其中，在所述空洞图中，与每个输出视点图像内的空洞相关的信息被收集；初始参考层产生器，用于使用空洞图、参考视点图像和参考视点视差信息来产生初始参考层；参考层产生器，用于通过执行针对初始参考层内的空洞的空洞恢复来产生参考层。

输出视点图像产生器可包括：参考视点选择器，用于从所述至少一个输入视图选择至少一个参考视图；参考视图扭曲单元，用于通过使用参考视图视差信息将参考视图图像扭曲至输出视点，来产生输出视点图像。