[发明专利]相机视图之间的鲁棒虚拟视图生成的方法和系统

权利要求书

1.一种用于生成场景的虚拟视图图像的设备，包括：

存储器，用于存储分别与同一场景的第一视图位置和第二视图位置相对应的第一输入图像和第二输入图像；以及

耦合到所述存储器的处理器，所述处理器被布置为通过以下方式来操作：

通过合并与所述第一输入图像和第二输入图像相关联的变形图像来生成所述第一视图位置和第二视图位置之间的目标虚拟视图的合并图像；并且

在通过使用所述合并图像生成的目标虚拟视图处填充虚拟视图图像上的孔洞，并且包括求解对以下两项做出比较的能量等式：(1)在所述等式中都未知的最终插补当前像素值和最终插补相邻像素值之间的差异，以及(2)当在所述合并图像上的与正被计算的所述最终插补当前像素值相对应的当前像素位置处不存在图像数据时，通过使用所述变形图像的图像值和至少一个插补权重生成的梯度。

2.如权利要求1所述的设备，其中，所述处理器被布置为通过以下方式来操作：在所述合并图像在所述当前像素位置处具有图像数据时使用所述能量等式将插补图像数据放置在所述虚拟视图图像上，并且其中，所述能量等式的梯度与在所述合并图像在所述当前像素位置处不具有图像数据时计算的梯度相比是以不同方式生成的。

3.如权利要求1所述的设备，其中，所述处理器被布置为通过以下方式来操作：生成指示出所述第一输入图像和第二输入图像之间的图像数据的像素位置的差异的一个或多个初始像差图；并且形成所述合并图像包括使用置信值，所述置信值指示出所述初始像差图中的至少一者的准确性。

4.如权利要求3所述的设备，其中，所述置信值指示出以下两项之间的差异：(1)所述第一输入图像或第二输入图像上的像素位置处的图像数据，以及(2)通过将所述初始像差图的像差添加到所述第一输入图像或第二输入图像的图像数据而形成的重投影的第一图像或第二图像上的同一像素位置的图像数据。

5.如权利要求3所述的设备，其中所述置信值被用于确定所述合并图像的像素位置是应当具有所述变形图像之一的图像值，还是没有图像数据。

6.如权利要求3所述的设备，其中，即使当所述变形图像之一具有能够被放置到所述合并图像中的像素位置的像素图像数据时，低置信值在该像素位置处也不向所述合并图像提供图像数据。

7.如权利要求3所述的设备，其中，所述置信值对于低置信是0并且对于高置信是1。

8.如权利要求3所述的设备，其中，所述处理器被布置为通过生成所述变形图像来操作，包括使用所述第一输入图像和第二输入图像之一上的像素图像数据位置和所述目标虚拟视图处的像素位置之间的差异的目标像差图。

9.如权利要求8所述的设备，其中，所述目标像差图是通过使用所述初始像差图来形成的。

10.如权利要求1所述的设备，其中，所述能量等式具有梯度能量项，该梯度能量项至少部分地基于泊松图像编辑并且在最小化所述能量等式的同时被迭代地求解以计算所述最终插补当前像素值。

11.如权利要求1所述的设备，其中，所述处理器被布置为通过维持时间相干性来操作，包括为所述第一输入图像和第二输入图像生成一个或多个运动图，所述一个或多个运动图指示出沿着视频序列从一帧到另一帧的图像数据的运动，其中所述帧之一是所述第一输入图像或第二输入图像；修改指示出所述第一输入图像和第二输入图像之间的图像数据的像素位置之间的差异的初始像差图，并且依据所述运动图来进行修改；并且使用所述初始像差图来形成所述变形图像和指示出所述初始像差图的准确性并且用于形成所述合并图像的置信值中的至少一者。