[发明专利]深度感测自动聚焦多相机系统

说明书

描述了一种使用深度感测相机的深度感测多相机系统。在一个示例中，相机系统包括：主自动聚焦相机，用以在第一聚焦距离处捕获场景的图像，该主相机具有穿过不同聚焦距离的固定视场；辅自动聚焦相机，用以在第二聚焦距离处捕获同一场景的图像，该辅相机具有穿过不同聚焦距离的固定视场；以及具有第一端口和第二端口的处理器，该第一端口被耦合到主相机来接收来自主相机的图像，该第二端口用以接收来自辅相机的图像并且使用所捕获的辅相机图像确定针对所捕获的主相机图像的深度图。

技术领域

本说明书涉及使用便携式设备中的相机进行深度感测的领域，以及特别地涉及利用自动聚焦相机进行深度感测。

背景技术

诸如计算机、平板设备和蜂窝电话之类的便携式设备通常被配备有在前面朝用户指向的相机和在背面背离用户指向的相机。前相机通常被用于视频会议和自拍，而后相机通常被用于视频和静止摄影术。

小的数字相机模块在便携式电话、通信设备、娱乐设备和媒体设备上已经变得常见。针对安全、导航、安保和其他用途中存在相机使用上的对应增加。从不同位置指向同一场景的两个相机提供了允许深度感知的立体视觉。安装到单个设备上的相机或图像传感器的阵列还可以使得能够实现许多其他引人注目的3D用户体验，包括时间分辨率和增加的动态范围。各种不同的便携式摄影设备、计算设备和媒体播放器设备可以被适配成将相机阵列技术集成在它们的平台上。

一些设备在背面提供两个或更多个相机来允许拍摄和记录立体或三维的图像或视频。具有用于深度感知的两个或更多个相机的设备允许各种不同的附加功能。作为示例，深度图可以被叠覆在静止图像上作为用于增强图像的工具。深度图可以被用于运动效果（视差视图）、用于深度测量以及用于应用基于深度（诸如重新焦距、分层滤波器和视图合成，除了别的以外）进行选择的数字滤波器。此外，也可以使得能够实现各种其他类型的计算摄影术。

附图说明

在附图中的各图中作为示例而并非作为限制来说明实施例，其中相同的附图标记指代类似的元件。

图1是由使用长聚焦距离（focus distance）和具有聚焦呼吸（focus breathing）的透镜的相机传感器所捕获的场景的附图。

图2是由使用短聚焦距离的相机传感器所捕获的同一场景的附图。

图3是具有立体视觉的相机设备的背表面的平面图示图。

图4是具有参考相机和两个深度相机的相机设备的背表面的平面图示图。

图5是使用可变形薄膜作为光学元件的相机模块的轴测图。

图6是用于使用两个相机进行图像处理和深度处理的软件栈的混合硬件和软件示图。

图7是用于使用两个相机进行深度处理的操作和硬件的混合系统和方法示图。

图8是根据实施例的结合了具有多个相机的图像处理系统的计算和相机设备的框图。

具体实施方式

多图像传感器设备提供了使用使得能够实现深度摄影术的软件和硬件特征的二维和三维操作。多个图像传感器被安装在设备的同一侧上，以分别具有同一场景的不同视图。图像被合成和跟踪。便携式成像系统快速地改变模式，并且在一些实施例中提供新的深度捕获工作流。这可以包括通过确定图像差异信息来生成深度图，以及校准和校正所捕获的帧。

差异计算典型地依赖于对从两个相机查看的单个场景的图像进行比较。如果存在多于两个相机，则指定主相机。将来自每个其他相机的视图与主相机逐对地进行比较。来自不同相机的图像中的区别或差异可以被用来确定从相机到场景中的对象的距离。这种确定依赖于相机之间的距离、相机的焦距（focal length）和传感器的尺寸。用在智能电话中的相机典型地是具有自动聚焦光学系统的非常小的固定焦距相机，以允许针对非常近的对象以及远距离对象的图像捕获。