[发明专利]全视场参考图像的图像拼接

说明书

用于获得无缝、高分辨率、大视场图像的系统和方法包括:使用一扫描长焦摄影机在一场景中拍摄多个长焦图像，每个拍摄的长焦图像具有相关联的长焦视场FOV_T；拮取具有视场大于FOV_T的个别参考图像场景的一参考图像；分析所述参考图像以定义扫描位置的顺序，折叠式长焦摄影机根据所述顺序扫描一场景以拍摄所述多个长焦图像；将所述多个长焦图像与所述参考图像对齐，以获得对齐的长焦图像；以及将对齐的长焦图像合成为一输出图像。所述输出图像可包括所述参考图像的至少一部分且可为输出图像流之一。

相关申请

本申请是有关于并要求2020年5月17日提交的美国临时专利申请第63/026,097号的优先权，其内容整体通过引用的方式并入本文。

技术领域

在此所公开的主题整体涉及图像拼接，且尤其是涉及在存在大FOV图像的情况下，拼接用小型FOV摄影机拍摄的图像的方法。

背景技术

多光圈摄影机(或多摄影机)是高端移动手持装置(“移动装置”，例如智能手机、平板电脑等)的标准。多摄影机通常包括宽视场(wide field of view)(FOV_W)或“广角”摄影机(“Wide”摄影机或“W摄影机”)，以及一个或多个具有相同FOV和窄FOV的附加摄影机(长焦(Telephoto)或“Tele”摄影机或具有长焦FOV_T的“T”摄影机)、或具有FOV_UWFOV_W的极广角(ultra-wide)摄影机(“UW摄影机”)。

长焦-广角(Tele-Wide)或长焦-极广角(Tele-Ultra-Wide)多摄影机(以下可称为长焦-参考“Tele-Reference”多摄影机)结合了两种摄影机的优点以克服缺点。它使用参考摄影机(reference camera)(“R摄影机”)拍摄场景的大型参考摄影机FOV_R，所述参考摄影机提供具有参考摄影机分辨率(“RES_R”)和参考信噪比(SNR_R)的参考(R)图像，并使用更高的长焦摄影机分辨率(“RES_T”)和信噪比(SNR_T)以放大具有FOV_T的场景。然而，随着长焦摄影机分辨率的提高，FOV_T变窄，因此只能拍摄到场景的一小部分。

最近的发展是有一种扫描长焦摄影机，它可以扫描具有常规(原生)FOV_T的场景，因此它可以有效地涵盖比原生FOV_T还大的扫描FOV_T。例如，在共有的美国专利10,578,948中描述了一扫描长焦摄影机的例子。

有必要并且有利于使用参考图像(R图像)数据和长焦(T)图像数据来创建具有满足FOV_TFOV_N≤FOV_R的“新”视场FOV_N的新图像的方法，其中，所述新图像的图像分辨率RES_NRES_R和/或其中所述新图像的信噪比SNR_NSNR_R。

发明内容

在各种实施例中，提供了使用参考图像数据和长焦图像数据来创建具有满足FOV_TFOV_N≤FOV_R的“新”视场FOV_N的“新”图像的系统和方法。新图像是无缝、高分辨率、大FOV图像。新图像具有大于RES_T的分辨率RES_N和/或大于SNR_R的信噪比SNR_N。新图像可以是“超级图像”(“SI”)，通过拍摄和拼接两个或多个长焦图像获得，也可以是“超广角图像”(“SW”)，通过拍摄和使用一个或多个长焦图像，以使用一超分辨率演算法改进R图像或其片段(segments)而获得。