[发明专利]用于360度立体视频的无缝左/右视图

说明书

技术领域

本发明涉及图像处理，尤其涉及360度立体视频的无缝左/右视图。

背景技术

人类视觉使用了各种线索来感知真实世界中的三维(3D)深度。这些线索之一是视网膜像差，其中瞳孔间距导致左眼和右眼接收到关于世界的略微不同的投影。立体成像尝试通过向每个眼睛呈现略微不同的图像来创建人为的3D深度感知。从不同的有利位置捕捉两个图像，所述不同的有利位置彼此隔开一个距离，该距离近似于人眼的瞳孔间距。假定图像被正确地同步且有利位置近似瞳孔间距，则大脑以创建图像中深度的幻象的方式来处理这些图像。

常规的3D相机包括用于生成一个场景的两个视图的一对隔开的图像传感器。尽管适用于场景的正视图或场景的某一其他部分，但是常规的3D相机不能获得场景的全景360度视图。这点的原因至少在于：在围绕360度全景的某一视角，第一图像传感器会捕捉第二图像传感器的视图，反之亦然，导致了360度视图内的遮挡。另一选项是旋转这对图像传感器以便在没有任何相机遮挡的情况下捕捉完全的360度视图，但该技术将不能正确地捕捉动态场景。

发明内容

本文公开一种用于将来自三个或更多个图像传感器的第一和第二组图像缝合在一起的方法。第一组图像被组合为全景的合成左视图，而第二组图像被组合为全景的合成右视图。当适当地缝合在一起时，左右视图可作为全景的立体视图呈现。应用缝合算法，该缝合算法去除由所组合的左图像中和所组合的右图像中的视差带来的任何差别。

该缝合算法首先基于所检测的由视差在该重叠区域中的对象间带来的差异来计算光学流。然后该算法从左向右和从右向左交叉淡化两遍，以将该重叠区域中来自两个视图的对象对齐。为了防止拉伸后的图像中的间隙，当拉伸该图像时应用经加权的因子。因此，当从左向右拉伸时，用在该重叠的左边缘处的经加权因子0和在该重叠的右边缘处的经加权因子1来执行该交叉淡化。当从右向左拉伸时，用在该重叠的右边缘处的相同的经加权因子0和在该重叠的左边缘处的相同的经加权因子1来执行该交叉淡化。然后在两个方向上使用经加权的交叉淡化来使该图像变形。然后可对变形后的图像的左半部和右半部应用拉普拉斯混合以平滑掉任何剩余差别。

在一个示例中，本技术涉及一种从多个图像传感器形成立体图像的方法，该方法包括如下步骤：(a)将来自不同图像传感器的第一组图像组合起来，该第一组图像被用作该立体图像中的左侧视角且该第一组图像是在具有该第一组图像的重叠的情况下组合的；(b)将来自该不同图像传感器的第二组图像组合起来，该第二组图像被用作该立体图像中的右侧视角且该第二组图像是在具有该第二组图像的重叠的情况下组合的；(c)移除该第一和第二组图像的重叠区域中的一对图像之间的缝的出现，该步骤(c)包括如下步骤：i)通过将第一图像在第一方向上在该重叠的第一边界处拉伸0倍而在相对边界处拉伸1倍而将该重叠区域中来自两个不同图像的对象对齐，以及ii)通过将第二图像在与该第一方向相反的第二方向上在该重叠的第二边界处拉伸0倍而在相对边界处拉伸1倍而将该重叠区域中来自该两个不同图像的对象对齐。

在一个进一步示例中，本技术涉及一种从多个图像传感器形成立体图像的方法，该方法包括如下步骤：(a)将具有视差的第一组图像组合起来，该第一组图像被用作该立体图像中的左侧视角且该第一组图像是在具有该第一组图像的重叠的情况下组合的；(b)将具有视差的第二组图像组合起来，该第二组图像被用作该立体图像中的右侧视角且该第二组图像是在具有该第二组图像的重叠的情况下组合的；(c)移除该第一和第二组图像的重叠区域中的一对图像之间的缝的出现，该步骤(c)包括如下步骤：i)使用重叠区域中的对应对象之间的水平差异来计算光学流，ii)使用加权因子从左到右交叉淡化，该因子从左到右增加，iii)使用加权因子从右到左交叉淡化，该因子从右到左增加，iv)使用在步骤(c)(ii)和(c)(iii)中修改的流来变形，以及v)在该重叠区域的左半部和右半部之间应用拉普拉斯混合。