[发明专利]立体全景图像合成装置、多眼成像装置和立体全景图像合成方法

权利要求书

1.一种立体全景图像合成装置，包括：

图像获取单元，其配置成获取包含由多眼成像装置拍摄的左图像和右图像的多个立体图像，左图像和右图像是通过摇动所述多眼成像装置而在每个成像方向上拍摄的；

存储单元，其配置成从获取的所述多个立体图像分离左图像和右图像，并将左图像和右图像分开存储；

投影变换单元，其配置成将存储的多个左图像和右图像分别投影变换到同一投影面上；

对应点检测单元，其配置成检测经过投影变换的多个左图像之间的重叠区域中的对应点，并且检测经过投影变换的多个右图像之间的重叠区域中的对应点；

主对象检测单元，其配置成从所述图像获取单元获取的所述多个立体图像中检测主对象；

基准图像设置单元，其配置成在所述多个立体图像当中设置第一基准立体图像，并且将所述主对象检测单元已在其中检测到主对象的立体图像设置为所述第一基准立体图像；

图像变形单元，其配置成以设置的所述第一基准立体图像中经过投影变换的左图像和右图像为基准，对相邻左图像进行几何变形以使得所述对应点检测单元检测到的基准左图像和与其相邻的所述相邻左图像之间的对应点相匹配，并且对相邻右图像进行几何变形以使得所述对应点检测单元检测到的基准右图像和与其相邻的所述相邻右图像之间的对应点相匹配，其中，当存在与经过几何变形的左图像和右图像相邻的经过投影变换的左图像和右图像时，将包含经过几何变形的左图像和右图像的立体图像设置为下一基准立体图像，并且如上所述对经过投影变换的左图像和右图像进行几何变形；以及

全景合成单元，其配置成基于所述第一基准立体图像的左图像和经过几何变形的左图像来合成左全景图像，以及基于所述第一基准立体图像的右图像和经过几何变形的右图像来合成右全景图像。

2.根据权利要求1所述的立体全景图像合成装置，

其中，在所述主对象检测单元没有检测到主对象的情况下，所述基准图像设置单元将所述多个立体图像当中按成像顺序最靠近中央的立体图像设置为所述第一基准立体图像。

3.根据权利要求1或2所述的立体全景图像合成装置，还包括：

代表视差量获取单元，其配置成获取所述左全景图像和所述右全景图像的代表视差量；以及

裁剪单元，其配置成从所述全景合成单元合成的所述左全景图像和所述右全景图像中的每一个中裁剪具有相互重叠的有效像素的区域中的图像，

其中所述裁剪单元确定并裁剪合成的左全景图像和合成的右全景图像的裁剪区域以使得所述代表视差量获取单元获取的代表视差量为预设视差量。

4.根据权利要求1或2所述的立体全景图像合成装置，还包括：

裁剪单元，其配置成从所述全景合成单元合成的所述左全景图像和所述右全景图像中的每一个中裁剪具有相互重叠的有效像素的区域中的图像。

5.根据权利要求1至4中任一项所述的立体全景图像合成装置，

其中，在合成所述左全景图像和所述右全景图像时，相邻图像之间的重叠区域中的图像被所述全景合成单元进行加权平均并合成。

6.根据权利要求3所述的立体全景图像合成装置，还包括：

记录单元，其配置成将所述全景合成单元生成的所述左全景图像和所述右全景图像彼此关联地记录到记录介质中。

7.根据权利要求6所述的立体全景图像合成装置，还包括：

代表视差量获取单元，其配置成获取所述左全景图像和所述右全景图像的代表视差量，

其中所述记录单元将所述代表视差量获取单元获取的代表视差量与所述左全景图像和所述右全景图像关联地记录到记录介质中。

8.根据权利要求7所述的立体全景图像合成装置，还包括：

输出单元，其配置成输出在所述记录介质中被关联地记录的所述左全景图像和所述右全景图像，

其中所述输出单元基于与所述左全景图像和所述右全景图像关联地记录的代表视差量来相对地移位所述左全景图像和所述右全景图像的像素，以使得所述代表视差量与预设视差量匹配，并且所述输出单元输出所述左全景图像和所述右全景图像。

9.根据权利要求3、7或8所述的立体全景图像合成装置，

其中所述代表视差量获取单元基于所述基准图像设置单元设置的基准立体图像来获取所述代表视差量。