[发明专利]双孔径摄影机系统中的帧同步

说明书

本发明涉及一种双孔径摄影机，包括：具有第一传感器和第一图像信号处理器(ISP)的第一摄影机，所述第一摄影机适于输出第一帧流；具有第二传感器和第二ISP的第二摄影机，所述第二摄影机适于输出第二帧流；以及同步和操作控制模块，其可以被配置成控制一个摄影级在完全可操作模式下的操作以及另一个摄影机在部分可操作模式下的操作，并且输出完全可操作摄影机的输出以作为双孔径摄影机输出，其中与另一个摄影机的完全可操作模式相比，另一个摄影机的部分可操作模式降低了双孔径摄影机功率消耗。

相关申请的交叉引用

本申请要求2016年6月19日提交的美国临时专利申请号62/351,990的优先权，该申请通过引用的方式被全文合并在本文中。

技术领域

本文中所公开的实施例总体上涉及包括两个或更多摄影机(也被称作“双摄影机”或“双孔径摄影机”)的摄影机系统，所述摄影机系统连接到处理摄影机数据的寄主设备并且需要由两个或更多摄影机输出的帧之间的同步以便降低功率消耗。

背景技术

数字摄影机模块当前正被合并到多种寄主设备中。这样的寄主设备包括蜂窝电话、个人数字助理(PDA)、计算机等等。针对寄主设备中的数字摄影机模块的消费者需求正在持续增长。

寄主设备制造商针对包括具有更好的能力(比如光学变焦、改进的低光性能和更高的图像质量)的更高性能摄影机的需求正不断增加。为了应对这一需求，近来已提出了新的摄影机系统。这样的摄影机系统包括被对准成看向相同的方向并且具有部分地或完全重叠的视场(FOV)的两个摄影机，并且在本文中被称作“双摄影机”系统(或者具有两个孔径A和B的“双孔径摄影机”系统)，例如参见国际专利申请PCT/IB2014/062180、PCT/IB2014/063393和PCT/IB2016/050844。取决于使用在每一个摄影机中的透镜，两个摄影机可以具有类似的FOV或者非常不同的FOV。已经证明(例如参见PCT/IB2014/062180和PCT/IB2014/063393)，可以根据专用的算法将来自两个摄影机的图像“缝合”或“融合”在一起，从而形成具有改进的分辨率、改进的噪声性能和改进的图像质量的复合图像(至少对于复合图像视场的某一部分)。所述图像缝合或图像融合算法可以用软件实施、运行在应用处理器(AP)上或者用硬件实施(硬件实现方式)。

此外已经证明(例如参见共同所有的美国专利9185291)，一些双摄影机系统(比如在预览或视频记录提供高质量变焦的双摄影机系统或者提供增强的低光性能的双摄影机系统)可以包括一个摄影机流到另一个摄影机流之间的过渡，以便生成随后被用来示出预览或记录视频的输出帧流。当焦距拉近和拉远时，这一过渡在特定变焦因数(ZF)下发生。在某些情况下，将两个摄影机之间的过渡保持得尽可能平滑是有益的——例如在双摄影机系统中的两个摄影机具有不同的FOV并且双摄影机系统实施两个摄影机之间的连续变焦的情况下。平滑过渡是其中用户不会注意到两个摄影机之间的过渡点的过渡。平滑过渡在时间和空间方面都应当是平滑的，也就是说在全部两个方面都是连续的。

此外还知道，一些双摄影机系统可以包括对于来自两个摄影机帧的深度映射图的计算。深度映射图是帧中的像素的映射图，其中每一个对象在场景中的相对距离是从该对象的图像在两帧之间的空间偏移确定的。在一些实施例中，深度映射图需要来自两个摄影机的帧之间的配准步骤。配准步骤是这样一个步骤：其中在对应于场景中的相同对象的两幅图像中的像素之间找到匹配，并且为每一对匹配的像素指派表示两个相应像素在传感器上的位置之间的偏移量的视差数值，从而形成“稠密视差映射图”。或者，配准步骤可以包括：从两帧中提取特征，在对应于场景中的相同对象的特征之间找到匹配，并且从匹配的特征计算“稀疏深度映射图”。可以在预览或视频流上或者在快照图像上计算深度映射图。