[发明专利]立体全景图像合成装置、多眼成像装置和立体全景图像合成方法

摘要

公开了立体全景图像合成方法，根据本发明的一个方面该方法包括步骤：将从多个立体图像获得的多个左图像和右图像分别投影变换到同一投影面上；检测左图像之间及右图像之间的重叠区域中的各对应点；从多个立体图像中检测主对象；将检测到主对象的立体图像设为第一基准立体图像；将从第一基准立体图像获得的经投影变换的左图像和右图像设为基准；为了在被设为基准的左图像和与其相邻的左图像之间检测到的对应点相匹配，对相邻左图像进行几何变形；为了在被设为基准的右图像和与其相邻的右图像之间检测到的对应点相匹配，对相邻右图像进行几何变形；以及根据第一基准立体图像的左图像和右图像以及经几何变形的左图像和右图像来合成右全景图像和左全景图像。

主权项

一种立体全景图像合成装置，包括：图像获取单元，其配置成获取包含由多眼成像装置拍摄的左图像和右图像的多个立体图像，左图像和右图像是通过摇动所述多眼成像装置而在每个成像方向上拍摄的；存储单元，其配置成从获取的所述多个立体图像分离左图像和右图像，并将左图像和右图像分开存储；投影变换单元，其配置成将存储的多个左图像和右图像分别投影变换到同一投影面上；对应点检测单元，其配置成检测经过投影变换的多个左图像之间的重叠区域中的对应点，并且检测经过投影变换的多个右图像之间的重叠区域中的对应点；主对象检测单元，其配置成从所述图像获取单元获取的所述多个立体图像中检测主对象；基准图像设置单元，其配置成在所述多个立体图像当中设置第一基准立体图像，并且将所述主对象检测单元已在其中检测到主对象的立体图像设置为所述第一基准立体图像；图像变形单元，其配置成以设置的所述第一基准立体图像中经过投影变换的左图像和右图像为基准，对相邻左图像进行几何变形以使得所述对应点检测单元检测到的基准左图像和与其相邻的所述相邻左图像之间的对应点相匹配，并且对相邻右图像进行几何变形以使得所述对应点检测单元检测到的基准右图像和与其相邻的所述相邻右图像之间的对应点相匹配，其中，当存在与经过几何变形的左图像和右图像相邻的经过投影变换的左图像和右图像时，将包含经过几何变形的左图像和右图像的立体图像设置为下一基准立体图像，并且如上所述对经过投影变换的左图像和右图像进行几何变形；以及全景合成单元，其配置成基于所述第一基准立体图像的左图像和经过几何变形的左图像来合成左全景图像，以及基于所述第一基准立体图像的右图像和经过几何变形的右图像来合成右全景图像。