[发明专利]具有电子卷帘快门校正的图像拼接的系统和方法

权利要求书

1.一种用于图像处理的系统，包括：

第一图像传感器，被配置为捕获第一图像；

第二图像传感器，被配置为捕获第二图像；以及

处理装置，所述处理装置被配置为：

从所述第一图像传感器接收所述第一图像；

从所述第二图像传感器接收所述第二图像；

确定针对所述第一图像和所述第二图像的电子卷帘快门校正映射，其中所述电子卷帘快门校正映射指定取决于所述第一图像和所述第二图像内的位置的图像部分的、沿着卷帘快门沿着其前进的维度的平移；

基于电子卷帘快门数据来确定补偿外极线；

基于所述第一图像、所述第二图像以及所述补偿外极线来确定视差校正映射；

基于所述视差校正映射和所述电子卷帘快门校正映射来确定扭曲映射，其中所述扭曲映射将所述电子卷帘快门校正映射应用到所述视差校正映射的输出；

基于所述第一图像和所述第二图像来将所述扭曲映射应用到图像数据以获得合成图像；以及

存储、显示或发送基于所述合成图像的输出图像。

2.根据权利要求1所述的系统，其中所述处理装置被配置为基于电子卷帘快门数据来确定所述补偿外极线，所述处理装置还被配置为：

确定针对初始外极线的远点和近点；

基于所述近点和针对所述近点的电子卷帘快门数据来确定补偿近点；以及

基于所述远点和所述补偿近点来确定所述补偿外极线中的一条补偿外极线。

3.根据权利要求1至2中的任一项所述的系统，其中所述电子卷帘快门校正映射以比所述视差校正映射更低的分辨率而被确定。

4.根据权利要求1至2中的任一项所述的系统，包括相机壳体，所述相机壳体包含所述第一图像传感器、所述第二图像传感器以及所述处理装置。

5.根据权利要求1至2中的任一项所述的系统，包括角速率传感器，并且其中所述处理装置被配置为确定所述电子卷帘快门校正映射，所述处理装置还被配置为：

针对所述第一图像和所述第二图像的捕获期间的时间，从所述角速率传感器接收针对包括所述第一图像传感器和所述第二图像传感器的设备的角速率测量结果；以及

基于所述角速率测量结果以及所述第一图像和所述第二图像的部分使用电子卷帘快门而被捕获的时间，来确定所述电子卷帘快门校正映射。

6.根据权利要求5所述的系统，其中所述处理装置被配置为确定所述电子卷帘快门校正映射，所述处理装置还被配置为：

基于与所述第一图像和所述第二图像的相应部分被捕获的时间相对应的所述角速率测量结果来确定针对所述相应部分的旋转；

对所述旋转进行插值以确定针对所述第一图像和所述第二图像的更小图像部分的插值旋转；以及

基于所述插值旋转来确定所述电子卷帘快门校正映射。

7.根据权利要求1至2和6中的任一项所述的系统，包括：

被附接到所述第一图像传感器的第一鱼眼镜头；以及

被附接到所述第二图像传感器的第二鱼眼镜头。

8.一种用于图像处理的方法，包括：

从第一图像传感器接收第一图像；

从第二图像传感器接收第二图像；

确定针对所述第一图像和所述第二图像的电子卷帘快门校正映射，所述电子卷帘快门校正映射指定取决于所述第一图像和所述第二图像内的位置的图像部分的、沿着卷帘快门沿着其前进的维度的平移；

基于所述第一图像和所述第二图像来确定视差校正映射，以用于拼接所述第一图像和所述第二图像；

基于所述视差校正映射和所述电子卷帘快门校正映射来确定扭曲映射，其中所述扭曲映射在所述视差校正映射之后应用所述电子卷帘快门校正映射；

基于所述第一图像和所述第二图像来将所述扭曲映射应用到图像数据以获得合成图像；以及

存储、显示或发送基于所述合成图像的输出图像。