[发明专利]使用基于特征的重影去除的阵列照相机图像组合

说明书

用于使用基于特征的重影去除来组合阵列照相机图像的方法包括(a)从阵列照相机接收分别由阵列照相机的第一照相机和第二照相机捕获的第一图像和第二图像，(b)校正并对齐第一图像和第二图像，(c)在所述校正并对齐后，识别第一图像中的特征以产生每个指示第一图像中的特征的至少一个第一特征图像并识别第二图像中的特征以产生每个指示第二图像中的特征的至少一个第二特征图像，(d)比较至少一个第一特征图像和至少一个第二特征图像以确定限定用于第一图像和第二图像的组合的组合权重的重影遮盖。

技术领域

本发明涉及光学领域，特别地涉及使用基于特征的重影去除的阵列照相机图像组合。

背景技术

阵列照相机是各别照相机的阵列。通常，各别照相机合作以提供单独使用各别照相机的一个无法实现的成像功能。阵列照相机已经发现主要用于立体成像和环绕或宽视场(FOV，field-of-view)成像中。在立体成像中，两个各别照相机从两个稍微不同的有利点对相同的场景成像以获得深度感知。在环绕/宽FOV成像中，位于共用位置的两个或更多个照相机用于查看环境的不同部分，以便与单个照相机相的视场相比，照相机组合提供扩大的视场。例如，汽车上的多个照相机可以面向不同的方向并合作以提供环境的360度视野。

最近，阵列照相机已经发现了新的应用。一个这样的应用是动态缩放。在此应用中，阵列照相机包括具有较窄视场的一个照相机和具有较宽视场的另一个照相机。这两个照相机被引导以查看本质上相同的场景，然而，较窄视场的照相机提供场景的放大视图。由这两个照相机捕获的图像对可以组合以提供缩放等级的范围，且因此此阵列照相机具有动态缩放功能，否则当仅适用单个照相机时，此动态缩放功能可能要求可变成像物镜的主动机械调节。在另一应用中，阵列照相机包括彩色照相机和具有比彩色照相机更高的空间分辨率的单色照相机。可以利用由单色照相机提供的更高空间分辨率内容获得具有比彩色照相机本身提供的更高空间分辨率的彩色图像。阵列照相机还可以用于高动态范围(HDR)成像中。在此，用于观察相同场景的阵列照相机的两个各别照相机以不同的曝光时间捕获图像以提高比各别照相机改进的动态范围。与具有基于单个照相机的序列图像捕获的传统HDR成像相比，阵列照相机方法具有以相同时间捕获两个图像的优点，这降低在基于单个照相机的HDR成像通常经历的运动伪影(motion artifact)的风险。

所有以上提到的新的应用依赖于由位于稍微不同的位置处的两个不同的照相机捕获的且因此具有场景的稍微不同的视野的图像的适当组合(叠加)。在图像组合之前，对捕获的图像应用纯几何校正以校正捕获的图像的每个并使其彼此对齐。对齐过程基于比较各别图像之间的像素值以寻找对应的像素。往往，在此图像组合方法的不完美导致组合图像中所谓的重影(ghost)，即，组合图像中出现错位或出现重复的对象。

发明内容

在实施例中，用于使用基于特征的重影去除来组合阵列照相机图像的方法包括，从阵列照相机接收分别由阵列照相机的第一照相机和第二照相机捕获的第一图像和第二图像。该方法校正并对齐第一图像和第二图像，随后，该方法识别第一图像中的特征以产生每个指示第一图像中的特征的至少一个第一特征图像，并识别第二图像中的特征以产生每个指示第二图像中的特征的至少一个第二特征图像。然后，该方法比较至少一个第一特征图像和至少一个第二特征图像以确定限定用于第一图像和第二图像的组合的组合权重的重影遮盖(ghost mask)。

在实施例中，用于基于特征的重影去除来组合阵列照相机图像的系统包括处理器和与处理器通信地耦接的存储器。存储器包括机器可读指令，机器可读指令用于当被处理器执行时处理第一图像和第二图像以确定限定用于组合第一图像和第二图像的组合权重的重影遮盖。机器可读指令包括(a)几何校正指令，当被处理器执行时，校正并对齐第一图像和第二图像，(b)特征识别指令，当被处理器执行且执行几何校正指令时，识别第一图像中的特征以产生每个指示第一图像中的特征的至少一个第一特征图像并识别第二图像中的特征以产生每个指示第二图像中的特征的至少一个第二特征图像，以及(c)重影遮盖生成指令，当被处理器执行时，比较至少一个第一特征图像和至少一个第二特征图像以确定重影遮盖。