[发明专利]用于提供滑动变焦视图合成的系统和方法

说明书

提供一种用于通过电子装置提供滑动变焦效果的方法和设备。获得具有第一深度图的第一图像和具有第二深度图的第二图像。分别使用所述第一图像和所述第一深度图来生成第一合成图像和对应的第一合成深度图。分别使用所述第二图像和所述第二深度图来生成第二合成图像和对应的第二合成深度图。从所述第一合成图像和所述第二合成图像生成融合图像。从所述第一合成深度图和所述第二合成深度图生成融合深度图。基于处理所述融合图像和所述融合深度图，生成最终的合成图像。

优先权

本申请基于并要求于2019年10月28日在美国专利和商标局提交并分配了序列号62/926,858的临时专利申请以及于2020年3月10日在美国专利和商标局提交并分配了序列号16/814,184的专利申请的优先权，所述申请的内容通过引用并入本文。

技术领域

本公开总体上涉及一种数字图像处理系统，并且更具体地，涉及一种用于通过电子装置提供滑动变焦(dolly zoom)视图合成的方法和系统。

背景技术

通常通过放大或缩小变焦镜头以便调整视野(FoV)而同时将相机移动远离或朝向对象以便始终将对象保持相对相同大小来实现滑动变焦效果。这会导致连续的透视失真，最直接明显的特征是背景似乎相对于对象改变大小。观看者的视觉外观是背景的大小和细节增加，以模拟前景的压倒性，或者前景开始占主导地位，取决于效果的执行方式。

滑动变焦效果还可以被称为眩晕效果、焦距干扰变焦、zido、zolly、亨特史密斯拍摄、希区柯克拍摄、希区柯克变焦、眩晕变焦、下颚拍摄、反向跟踪拍摄、三重反向变焦、后退变焦行进、粉碎变焦、伸缩、长号拍摄、推/拉、长拉、反向拉、长号效果、拉伸拍摄、正向变焦、反向跟踪、放大/缩小、trans-trav和反缩放。

图1A和图1B是示出滑动变焦效果的图。在图1A中，相机处于具有FoVθ₁的“位置A”，并且物体102处于焦点下。在图1B中，相机移动到“位置B”同时将其FoV增加至θ₂，其中位置B比位置A更靠近物体102。在这种相机移动之后，物体102的大小保持不变，而由于增加的FoV，随着更多的物体被带入图像，背景物体104和106的大小似乎缩小了。

因为需要同时变焦和移动，执行滑动变焦效果需要技巧和装备。在移动手机相机上执行滑动变焦效果特别困难，因为需要对图像变焦、物体跟踪和移动进行精细控制。

发明内容

根据一个实施例，提供一种用于通过电子装置提供滑动变焦效果的方法。获得具有对应第一深度图的第一图像和具有对应第二深度图的第二图像。第一图像和第二图像具有不同的视野。分别使用第一图像和第一深度图来生成第一合成图像和对应的第一合成深度图。分别使用第二图像和第二深度图来生成第二合成图像和对应的第二合成深度图。从第一合成图像和第二合成图像生成融合图像。从第一合成深度图和第二合成深度图生成融合深度图。基于处理融合图像和融合深度图，生成最终的合成图像。

根据一个实施例中，提供一种电子装置。所述电子装置包括至少一个相机和在上面执行指令的处理器，使所述处理器获得具有对应第一深度图的第一图像和具有对应第二深度图的第二图像。第一图像和第二图像具有不同的视野。指令还使所述处理器：分别使用第一图像和第一深度图来生成第一合成图像和对应的第一合成深度图，并且分别使用第二图像和第二深度图来生成第二合成图像和对应的第二合成深度图。指令还使所述处理器用于：从第一合成图像和第二合成图像生成融合图像，从第一合成深度图和第二合成深度图生成融合深度图，并且基于处理融合图像和融合深度图，生成最终的合成图像。

根据一个实施例，一种通过电子装置执行深度感知修复的方法。从第一图像和第二图像生成融合图像。从第一深度图和第二深度图生成融合深度图。使用融合深度图执行深度孔填充，以获得孔填充的深度图。基于孔填充的深度图中的多个独特深度值中的每一个来更新遮挡掩模。根据更新的遮挡掩模，对融合图像中的遮挡区域应用窗口平均滤波器以获得最终图像。

附图说明