[发明专利]通过移动相机自动生成全焦图像的方法、用户设备以及系统

说明书

本公开描述旨在通过移动装置的相机，特别是具有浅景深的相机产生全焦图像的系统和技术。用户设备包括用于确定与相机视场中的对象的距离的传感器。基于所述视场的深度图推断多个分段，每个分段限定所述相机视场内的独特聚焦区域。所述相机的自动对焦镜头扫描到与所述多个分段中的每一个分段相关联的相应焦距。所述相机在由所述自动对焦镜头扫描的每个焦距处捕获样本图像。所述用户设备通过组合或合并所捕获样本图像的部分来产生全焦图像。

背景技术

移动装置中的相机往往具有由每个相机所在的移动装置的形状因子造成的短焦距。为了即使具有短焦距也能提供优异的成像，移动装置中的许多相机(移动相机)使用浅景深，这允许窄聚焦图片，同时允许在软化场景的其它部分时对合焦的对象进行锐化。这种质量使得移动相机非常适合于产生人像和艺术摄影，其质量可以与数码单反(DSLR)相机媲美。这种质量也为移动相机提供广泛的消费者吸引力。

但是，浅景深阻碍其它种类的摄影，例如风景摄影、医疗成像，生物特征成像、商业摄影等，其中获得清晰的“全焦(all-in-focus)”图片比聚焦在场景的单个区域或对象更为理想。高质量全焦图像包括多个清晰聚焦的区域或感兴趣的对象，而不仅仅是一个，即使一些区域的焦距不同也是这样。但是，事实证明，使用具有浅景深的移动相机技术生成全焦图像非常困难，特别是考虑到对快速响应用户体验的期望更是如此。

发明内容

本公开描述了用于通过移动相机自动地生成全焦图像的技术和系统。尽管具有浅景深的移动相机，但是所述技术和系统使用户设备(例如，移动电话、平板计算机)能够捕获全焦图像。用户设备的相机使用来自深度传感器、对比度传感器或相位检测传感器的信息将图像分割成焦距集合(有时也称为“深度”)。每个焦距对应于不同聚焦区域或感兴趣的对象。移动相机通过选择性地扫描移动相机的自动对焦镜头，例如由音圈电机(VCM)或微机电(MEMS)磁性致动器驱动的镜头来捕获该焦距集合中的每个焦距处的图像。将集合中的每个图像的各个聚焦区域组合以形成单个全焦图像，所述全焦图像在单个图片或场景中将多个聚焦区域组合在一起。为了提高移动相机的性能并确保移动相机尽快产生全焦图像，移动相机可以减少自动对焦镜头的扫描时间。利用已经拍摄的图像的缓冲器来促进零快门延迟(ZSL)，移动相机可以选择性地避免扫描到与缓冲器中的现有图像相关联的特定焦距或深度。移动相机将先前缓冲的图像的各个聚焦区域与在不同焦距或深度处拍摄的新捕获的图像的各个聚焦区域组合，以产生单个全焦图像。因此，可以改进移动相机成像。

因此，尽管移动相机存在局限性，包括浅景深，但是所述技术和系统实现全焦图像的自动生成。使用所描述系统和技术的用户设备仍然能够拍摄与通过DSLR拍摄的图像相当的窄聚焦图像。使用这些技术，即使具有浅景深的相同用户设备也可以以清晰可分辨的视图拍摄具有多个聚焦区域或感兴趣的对象的全焦风景和其它图片。

在一些方面，描述了用于通过用户设备的相机(当相机与移动计算装置集成时称为“移动相机”)产生全焦图像的方法。所述方法包括：基于传感器数据推断多个分段，每个分段限定移动相机的视场内的独特聚焦区域；维持与所述多个分段中的不同分段相对应的焦距集合；将移动相机的自动对焦镜头扫描到来自所述焦距集合的一个或多个焦距；以及在来自由自动对焦镜头扫描的所述焦距集合的所述一个或多个焦距中的每一个焦距处捕获样本图像。所述方法还包括将在由自动对焦镜头扫描的所述一个或多个焦距处捕获的样本图像中的至少一个样本图像与另一图像组合以产生全焦图像；以及输出全焦图像的指示以供显示。

本文档还描述了具有用于执行上述方法以及本文中阐述的其它方法的指令的计算机可读介质，以及用于执行这些方法的系统和构件。

提供本发明内容以介绍下文在具体实施方式和附图中进一步描述的用于通过移动相机自动地生成全焦图像的简化概念。本概述并非旨在标识所要求主题的基本特征，也不旨在用于确定所要求主题的范围。

附图说明

在本文档中参考以下附图描述通过移动相机自动地生成全焦图像的一个或多个方面的细节。在整个附图中，相同的数字用于指代相同的特征和组件：