[发明专利]用于提供滑动变焦视图合成的系统和方法

权利要求书

1.一种通过电子装置提供滑动变焦效果的方法，所述方法包括：

获得第一图像和第二图像，所述第一图像具有对应于所述第一图像的第一深度图，并且所述第二图像具有对应于所述第二图像的第二深度图，其中所述第一图像和所述第二图像具有不同的视野；

分别使用所述第一图像和所述第一深度图来生成第一合成图像和对应于所述第一合成图像的第一合成深度图；

分别使用所述第二图像和所述第二深度图来生成第二合成图像和对应于所述第二合成图像的第二合成深度图；

从所述第一合成图像和所述第二合成图像生成融合图像；

从所述第一合成深度图和所述第二合成深度图生成融合深度图；以及

基于处理所述融合图像和所述融合深度图，生成最终的合成图像。

2.如权利要求1所述的方法，其中获得具有所述第一深度图的所述第一图像和具有所述第二深度图的所述第二图像包括：

从第一相机接收所述第一图像和第三图像；

通过使用所述第一图像和所述第三图像执行深度估计来确定所述第一图像的所述第一深度图；

通过对所述第一图像执行数字变焦来确定所述第二图像；以及

通过对所述第一深度图执行数字变焦来确定所述第二深度图。

3.如权利要求1所述的方法，其中获得具有所述第一深度图的所述第一图像和具有所述第二深度图的所述第二图像包括：

从第一相机接收所述第一图像和所述第二图像；

从第二相机接收第三图像；

通过使用所述第一图像和所述第二图像执行深度估计来确定所述第一深度图；以及

通过使用所述第二图像和所述第三图像执行深度估计来确定所述第二深度图。

4.如权利要求1所述的方法，其中获得具有所述第一深度图的所述第一图像和具有所述第二深度图的所述第二图像包括：

从第一相机接收所述第一图像；

导出所述第一深度图；

通过对所述第一图像执行数字变焦来确定所述第二图像；以及

通过对所述第一深度图执行数字变焦来确定所述第二深度图。

5.如权利要求1所述的方法，其中获得具有所述第一深度图的所述第一图像和具有所述第二深度图的所述第二图像包括：

从第一相机接收所述第一图像；

从第二相机接收所述第二图像；以及

导出所述第一深度图和所述第二深度图。

6.如权利要求1所述的方法，其中生成所述第一合成图像和所述第一合成深度图包括：

设置沿着所述第一图像的至少一个轴的相机平移；

经由用户输入设置焦距距离；以及

基于所述第一图像的所述相机平移和所述焦距距离，使用正向扭曲将所述第一图像和所述第一深度图扭曲，以获得所述第一合成图像和所述第一合成深度图。

7.如权利要求6所述的方法，其中生成所述第二合成图像和所述第二合成深度图包括：

设置沿着所述第二图像的至少一个轴的相机平移；以及

基于所述第二图像的所述相机平移和所述焦距距离，使用正向扭曲将所述第二图像和所述第二深度图扭曲，以获得所述第二合成图像和所述第二合成深度图。

8.如权利要求1所述的方法，其中生成所述最终的合成图像包括：

对所述融合深度图和所述融合图像执行孔填充；以及

应用浅景深效果以获得具有所述滑动变焦效果的所述最终的合成图像。

9.如权利要求8所述的方法，其中执行孔填充包括：

使用所述融合深度图执行深度孔填充，以获得孔填充的深度图；以及

使用所述融合图像和所述孔填充的深度图执行深度感知图像修复以获得孔填充的图像。

10.如权利要求9所述的方法，其中执行深度感知图像修复包括：

基于所述孔填充的深度图中的多个独特深度值中的每一个来更新遮挡掩模；以及

根据更新的遮挡掩模，对所述融合图像中的遮挡区域应用窗口平均滤波器。