[发明专利]具有电子卷帘快门校正的图像拼接的系统和方法

说明书

公开了用于图像信号处理的系统和方法。例如，方法可以包括：从第一图像传感器接收第一图像；从第二图像传感器接收第二图像；确定针对第一图像和第二图像的电子卷帘快门校正映射；基于第一图像和第二图像来确定视差校正映射，以用于拼接第一图像和第二图像；基于视差校正映射和电子卷帘快门校正映射来确定扭曲映射，其中扭曲映射在视差校正映射之后应用电子卷帘快门校正映射；基于第一图像和第二图像来将扭曲映射应用到图像数据以获得合成图像；并且存储、显示或发送基于合成图像的输出图像。

相关申请

本申请要求于2017年8月21日提交的美国申请号15/681,764的权益，通过引用将其整体并入本文中。

技术领域

本公开涉及数字图像和视频处理。

背景技术

诸如相机的图像捕获设备可以将内容捕获为图像或视频。可以经由镜头接收和聚焦光并且光可以通过图像传感器被转换为电子图像。图像信号可以由图像信号处理器(ISP)处理以形成图像，其可以被存储和/或编码。在一些实施方式中，多个图像或视频帧可以包括空间上相邻或重叠的内容。因此，用于捕获、处理和/或编码图像、视频或两者的系统、方法和装置可以是有利的。

发明内容

本公开尤其描述了用于数字图像和视频处理的装置和方法。

在第一方面中，本说明书中描述的主题可以用包括以下的系统来实现：第一图像传感器，其被配置为捕获第一图像；以及第二图像传感器，其被配置为捕获第二图像。该系统包括处理装置，处理装置被配置为：从所述第一图像传感器接收所述第一图像；从所述第二图像传感器接收所述第二图像；确定针对所述第一图像和所述第二图像的电子卷帘快门校正映射，所述电子卷帘快门校正映射指定沿着卷帘快门沿着其前进的维度的取决于所述第一图像和所述第二图像内的位置的图像部分的平移；基于电子卷帘快门数据来确定补偿外极线；基于所述第一图像、所述第二图像以及所述补偿外极线来确定视差校正映射；基于所述视差校正映射和所述电子卷帘快门校正映射来确定扭曲映射，其中，所述扭曲映射将所述电子卷帘快门校正映射应用到所述视差校正映射的输出；基于所述第一图像和所述第二图像来将所述扭曲映射应用到图像数据以获得合成图像；并且存储、显示或发送基于所述合成图像的输出图像。

在第二方面中，本说明书中描述的主题可以用包括以下的方法来实现：从第一图像传感器接收第一图像；从第二图像传感器接收第二图像；确定针对所述第一图像和所述第二图像的电子卷帘快门校正映射，所述电子卷帘快门校正映射指定沿着卷帘快门沿着其前进的维度的取决于所述第一图像和所述第二图像内的位置的图像部分的平移；基于所述第一图像和所述第二图像来确定视差校正映射以拼接所述第一图像和所述第二图像；基于所述视差校正映射和所述电子卷帘快门校正映射来确定扭曲映射，其中所述扭曲映射在所述视差校正映射之后应用所述电子卷帘快门校正映射；基于所述第一图像和所述第二图像来将所述扭曲映射应用到图像数据以获得合成图像；并且存储、显示或发送基于所述合成图像的输出图像。

在第三方面中，本说明书中描述的主题可以用包括以下的系统来实现：第一图像传感器，其被配置为捕获第一图像；以及第二图像传感器，其被配置为捕获第二图像。该系统包括处理装置，处理装置被配置为执行包括以下的操作：从所述第一图像传感器接收所述第一图像；从所述第二图像传感器接收所述第二图像；应用用于拼接所述第一图像和所述第二图像的视差校正以获得合成图像；将电子卷帘快门校正应用到所述合成图像以获得电子卷帘快门校正图像，其中，所述电子卷帘快门校正减轻由在所述第一图像和所述第二图像的不同部分被捕获的时间之间所述第一图像传感器和所述第二图像传感器的移动引起的畸变；以及存储、显示或发送基于所述电子卷帘快门校正图像的输出图像。