[发明专利]立体全景图像合成装置、多眼成像装置和立体全景图像合成方法

说明书

技术领域

本发明涉及立体全景图像合成装置、多眼成像装置和立体全景图像合成方法，特别涉及基于通过摇动多眼成像装置而拍摄的多个立体图像来合成立体全景图像的技术。

背景技术

传统上，已知这样的全景图像合成方法，其使用固定到三脚架等上并旋转的摄影机成像一系列图像，组合根据这些连续捕获图像而被切割为狭缝形状的狭缝图像，并合成全景图像（PTL1）。

该PTL1中描述的发明具有这样的特征，通过基于两个连续图像之间的光学流大小确定狭缝图像的宽度，切割出狭缝图像并对其进行合成，即使在摄影机的各速度不恒定的情况下，也能够可靠地再现全景图像。

PTL2也描述了一种能够合成三维空间全景的范围成像系统。

{引用列表}

{专利文献}

{PTL1}日本专利申请公开No.11-164325

{PTL2}日本专利申请公开No.2002-366948

发明内容

{技术问题}

尽管PTL1的摘要描述了组合根据捕获的连续图像而被切割为狭缝形状的狭缝图像并且生成针对左右视点的全景图像，但是，PTL1的说明书不包含生成针对左右视点的全景图像的相关描述。

在PTL2描述的发明中，已调制的电磁辐射束照射到场景，其反射束（至少以三个图像形成的图像束）被作为激光雷达的摄像机捕获。这不同于普通摄像机，普通摄像机不发射已调制的电磁辐射束。

本发明的目的是提供一种能够根据通过摇动（panning）多眼成像装置而拍摄到的多个图像来合成立体全景图像的立体全景图像合成装置、多眼成像装置和立体全景图像合成方法。

{解决问题的方案}

为了实现上述目的，本发明的第一方面提供一种立体全景图像合成装置，包括：图像获取单元，其配置成获取包含由多眼成像装置拍摄的左图像和右图像的多个立体图像，左图像和右图像是通过摇动多眼成像装置而在每个成像方向上拍摄的；存储单元，其配置成从获取的多个立体图像分离左图像和右图像，并将左图像和右图像分开存储；投影变换单元，其配置成将存储的多个左图像和右图像分别投影变换到同一投影面上；对应点检测单元，其配置成检测经过投影变换的多个左图像之间的重叠区域中的对应点以及检测经过投影变换的多个右图像之间的重叠区域中的对应点；主对象检测单元，其配置成从由图像获取单元获取的多个立体图像中检测主对象；基准图像设置单元，其配置成在多个立体图像当中设置第一基准立体图像，并且将主对象检测单元在其中已检测到主对象的立体图像设置为第一基准立体图像；图像变形单元，其配置成以设置的第一基准立体图像中经过投影变换的左图像和右图像为基准，对相邻左图像进行几何变形以使得对应点检测单元检测到的基准左图像和与其相邻的相邻左图像之间的对应点相匹配，以及对相邻右图像进行几何变形以使得对应点检测单元检测到的基准右图像和与其相邻的相邻右图像之间的对应点相匹配，其中，当存在与经过几何变形的左图像和右图像相邻的经过投影变换的左图像和右图像时，将包含经过几何变形的左图像和右图像的立体图像设置为下一基准立体图像，并且如上所述对经过投影变换的左图像和右图像进行几何变形；以及全景合成单元，其配置成根据第一基准立体图像的左图像和经过几何变形的左图像来合成左全景图像，并且根据第一基准立体图像的右图像和经过几何变形的右图像来合成右全景图像。

根据第一方面的立体全景图像合成装置获取通过摇动多眼成像装置而拍摄的多个立体图像，从所获取的多个立体图像分离左图像和右图像并且将左图像和右图像分开存储。随后，根据第一方面的立体全景图像合成装置分别根据所存储的多个左图像和右图像生成左全景图像和右全景图像。根据第一方面的立体全景图像合成装置将所存储的多个左图像和右图像投影变换到同一投影面以很好地合成上述全景图像，检测经过投影变换的多个左图像之间的重叠区域中的对应点以及经过投影变换的多个右图像之间的重叠区域中的对应点，并且进行几何变形以使得相邻图像之间的对应点相匹配。