[发明专利]立体全景图像合成装置、图像捕获装置、立体全景图像合成方法、记录介质、以及计算机程序

说明书

技术领域

本发明涉及立体全景图像合成装置、图像捕获装置、以及立体全景图像合成方法，并且特别是，本发明涉及基于由单目相机捕获的图像来合成立体全景图像的技术。

背景技术

在相关技术中，已知使用被固定至三脚架等并且旋转的摄像机捕获图像序列，结合根据这些捕获的图像序列而被切割为狭缝形状的狭缝图像并且合成全景图像的全景图像合成方法（专利文献1）。

根据在该专利文献1中描述的全景图像合成方法，通过基于两个连续图像之间的光学流尺寸确定狭缝图像宽度，切割狭缝图像并且合成它们，甚至可以在摄像机的每个速度不恒定的情况下，可靠地再现全景图像。

而且，专利文献2披露了可以合成三维空间全景的范围成像系统。

{引用列表}

{专利文献}

{PTL 1}日本专利申请公开No.11-164325

{PTL 2}日本专利申请公开No.2002-366948

发明内容

{技术问题}

专利文献1的摘要披露了结合根据所捕获的连续图像而被切割为狭缝形状的狭缝图像并且生成用于右眼和左眼的全景图像，专利文献1的说明书不包含关于生成用于右眼和左眼图像的全景图像的说明。

在专利文献2中披露的范围成像系统，调制后的电磁辐射束被照射到景色并且其反射束（即，通过至少三个图像形成的图像束）由作为激光雷达的相机捕获。该范围成像系统与普通相机不同之处在于照射调制后的电磁辐射束。

本发明的一个目的在于提供一种新立体全景图像合成装置、一种图像捕获装置和一种立体全景图像合成方法，其可以根据通过摇动（panning）单目图像捕获装置捕获的多个图像来合成立体全景图像。

{问题的解决方案}

为了实现以上目的，根据第一方面的立体全景图像合成装置包括：图像获取单元，其获取在摇动具有单个成像光学系统和成像元件的图像捕获装置的同时以预定帧速率连续捕获的多个图像；图像选择单元，其从所获取的多个图像选择用于全景图像合成的图像，并且选择其中图像之间的光学流的平移矢量的水平分量处在预先设置的预定范围内的图像；重叠区域检测单元，其检测所选择的图像中的时间相邻图像之间的重叠区域；修剪单元，其切出检测到的重叠区域的图像；存储单元，其将重叠区域的被切出图像存储为左图像和右图像；以及全景图像合成单元，其基于所存储的左图像的图像组和所存储的右图像的图像组，来合成左全景图像和右全景图像。

在通过摇动具有单个成像光学系统和成像元件的图像捕获装置（单目图像捕获装置）捕获的多个图像当中，时间相邻图像之间的重叠区域的图像对应于左视点图像和右视点图像。从而，在根据第一方面的立体全景图像合成装置中，可以切出重叠区域的图像，使用它们作为左图像的图像组和右图像的图像组，根据左图像的图像组合成左图像的全景图像，并且根据右图像的图像组合成右图像的全景图像。

而且，在合成的立体全景图像中，优选相同距离处的特定对象的立体效果不由成像方向改变。从而，在根据第一方面的立体全景图像合成装置中，选择其中时间相邻图像之间的光学流的平移矢量的水平分量处在预先设置的预定范围内的图像。

根据第二方面，根据第一方面的立体全景图像合成装置进一步包括：相应点检测单元，其将所获取的多个图像当中的预定图像设置为基准图像，并且检测在基准图像和在与基准图像的时间不同的时间捕获的一个或多个不同图像之间具有相同特征的相应点；以及光学流计算单元，其基于由相应点检测单元检测的相应点来计算光学流，其中，图像选择单元选择其中所计算的光学流的平移矢量的水平分量处在预先设置的预定范围内的图像，并且将不同的被选择图像设置为下一个基准图像。

根据第三方面，在根据第一或第二方面的立体全景图像合成装置中，全景图像合成单元根据图像之间的光学流的平移矢量的水平分量，来将所存储的左图像的图像组的每个图像修剪为狭缝形状，并且基于光学流的平移矢量来合成修剪后的狭缝形状图像，以生成左全景图像，以及根据图像之间的光学流的平移矢量的水平分量，来将所存储的右图像的图像组的每个图像修剪为狭缝形状，并且基于光学流的平移矢量来合成修剪后的狭缝形状图像，以生成右全景图像。