[发明专利]相机视图之间的鲁棒虚拟视图生成的方法和系统

说明书

本公开涉及相机视图之间的鲁棒虚拟视图生成的方法和系统。论述了与从已知输入图像的位置之间的位置生成场景的虚拟视图以呈现给观看者有关的技术。这种技术包括应用基于梯度的孔洞填充插补。

技术领域

本公开一般涉及机器视觉领域，更具体地涉及相机视图之间的鲁棒虚拟视图生成的方法和系统。

背景技术

诸如两个或更多个对齐的相机之类的相机阵列正在诸如平板设备、智能电话、膝上型电脑、显示设备、网真系统、电影摄制和视频制作系统等等之类的多种设备实现中变得越来越常见。在由这种相机阵列生成的观看体验的情境中，相机位置之间的中间虚拟视图被生成并被提供给用户以供显示。

高效地并且以最低限度的视觉伪像在捕捉的相机视图之间的位置处渲染逼真的虚拟图像，是持续的目标。用于从多个相机图像渲染虚拟视图的当前技术包括从图像对场景进行体积性3D重建和使用3D图形渲染技术来渲染虚拟视图。然而，3D重建在计算上是昂贵且容易出错的，导致了渲染的图像中的视觉伪像。基于图像的渲染(image-basedrendering，IBR)技术避免了3D几何结构的显式重建，而是改为直接从捕捉的图像渲染虚拟视图。例如，IBR插值可使用两个图像和其像素对应图来将图像变形到期望的位置。然而，IBR技术经常具有多噪声的像差图(disparity map)以及相机视图之间的大相机视差(或者偏移或观看角度)，导致显著的不合需要的可见图像伪像。另外，提供更好准确性的那些IBR技术经常具有很大的计算负担，这有碍于视频序列渲染期间的合成或者虚拟视图生成的实时操作。

发明内容

本公开的实施例提供了一种用于生成场景的虚拟视图图像的设备，包括：存储器，用于存储分别与同一场景的第一视图位置和第二视图位置相对应的第一输入图像和第二输入图像；以及耦合到存储器的处理器，处理器被布置为通过以下方式来操作：通过合并与第一输入图像和第二输入图像相关联的变形图像来生成第一视图位置和第二视图位置之间的目标虚拟视图的合并图像；并且在通过使用合并图像生成的目标虚拟视图处填充虚拟视图图像上的孔洞，并且包括求解对以下两项做出比较的能量等式：(1)在等式中都未知的最终插补当前像素值和最终插补相邻像素值之间的差异，以及(2)当在合并图像上的与正被计算的最终插补当前像素值相对应的当前像素位置处不存在图像数据时，通过使用变形图像的图像值和至少一个插补权重生成的梯度。

附图说明

在附图中以示例方式而非限制方式图示了本文描述的素材。为了图示的简单和清晰，附图中图示的元素不一定是按比例绘制的。例如，为了清晰，一些元素的尺寸相对于其他元素可被夸大。另外，在认为适当时，附图标记在附图之间被重复以指示出对应的或相似的元素。在附图中：

图1图示了用于生成场景的虚拟视图的示例设备；

图2是根据本文的至少一个实现方式的相机视图之间的鲁棒虚拟视图生成的方法的流程图；

图3是根据本文的至少一个实现方式的相机视图之间的鲁棒虚拟视图生成的方法的详细流程图；

图4A和4B分别是示例左和右输入图像；

图5图示了左和右图像之间的示例像差图；

图6图示出根据本文的至少一个实现方式的示例置信图；

图7A-7B是根据本文的至少一个实现方式的用于相机视图之间的鲁棒虚拟视图生成的插补和孔洞填充的示例方法的流程图；

图7C是根据本文的至少一个实现方式的用于图7A-7B的插补和孔洞填充的示例像素图案的示意图；

图8图示了根据本文的至少一个实现方式的形成为与孔洞的合并图像的示例图像引导场；

图9图示了根据本文的至少一个实现方式的示例最终插补虚拟图像；