[发明专利]图像融合方法和装置

权利要求书

1.一种图像融合方法，应用于一多重成像设备，所述多重成像设备包括全景相机和非全景相机，其中所述非全景相机能够拍摄可见光图像，并且也能够拍摄与所述可见光图像不同的特殊图像，所述方法包括：

通过校正由所述全景相机获得的全景图像中的非线性畸变，将所述全景图像变换为多个第二图像；

在所述多个第二图像中确定与由所述非全景相机获得的可见光图像匹配的一个第二图像以及其中的对应区域；

以由所述非全景相机获得的特殊图像替换所述可见光图像，并将所述特殊图像融合至匹配的第二图像中的对应区域；以及

将完成图像融合的第二图像以及其余的第二图像反变换回全景图像。

2.根据权利要求1所述的方法，其中所述多个第二图像为立方体全景图中六个面的图像。

3.根据权利要求1所述的方法，其中以由所述非全景相机获得的特殊图像替换所述可见光图像的步骤进一步包括：

确定所述非全景相机中用以拍摄可见光图像的可见光镜头与用以拍摄特殊图像的特殊镜头之间的视差；

判断所述视差是否满足预定条件；

当所述视差满足所述预定条件时，直接以所述特殊图像替换所述可见光图像；

当所述视差不满足所述预定条件时，确定所述特殊图像到所述可见光图像的第一变换矩阵，并以变换后的特殊图像替换所述可见光图像。

4.根据权利要求2所述的方法，其中在所述多个第二图像中确定与由所述非全景相机获得的可见光图像匹配的一个第二图像以及其中的对应区域的步骤进一步包括：

对于所述六个面的图像中的每一个，搜索与所述可见光图像中的特征点匹配的特征点，直至找到匹配度最高的一个面图像；

基于多个相互匹配的特征点对，确定将所述可见光图像融合至所述面图像的对应区域的第二变换矩阵。

5.根据权利要求4所述的方法，其中将所述特殊图像融合至匹配的第二图像中的对应区域的步骤进一步包括：

通过所述第二变换矩阵，将所述特殊图像变换至所述面图像的对应区域。

6.一种图像融合装置，应用于一多重成像设备，所述多重成像设备包括全景相机和非全景相机，其中所述非全景相机能够拍摄可见光图像，并且也能够拍摄与所述可见光图像不同的特殊图像，所述装置包括：

畸变校正单元，用于通过校正由所述全景相机获得的全景图像中的非线性畸变，将所述全景图像变换为多个第二图像；

匹配单元，用于在所述多个第二图像中确定与由所述非全景相机获得的可见光图像匹配的一个第二图像以及其中的对应区域；

融合单元，用于以由所述非全景相机获得的特殊图像替换所述可见光图像，并将所述特殊图像融合至匹配的第二图像中的对应区域；以及

反变换单元，用于将完成图像融合的第二图像以及其余的第二图像反变换回全景图像。

7.根据权利要求6所述的装置，其中所述多个第二图像为立方体全景图中六个面的图像。

8.根据权利要求6所述的装置，其中所述融合单元进一步包括替换部件，所述替换部件被配置为执行以下处理：

确定所述非全景相机中用以拍摄可见光图像的可见光镜头与用以拍摄特殊图像的特殊镜头之间的视差；

判断所述视差是否满足预定条件；

当所述视差满足所述预定条件时，直接以所述特殊图像替换所述可见光图像；

当所述视差不满足所述预定条件时，确定所述特殊图像到所述可见光图像的第一变换矩阵，并以变换后的特殊图像替换所述可见光图像。

9.根据权利要求7所述的装置，其中所述匹配单元进一步被配置为：

对于所述六个面的图像中的每一个，搜索与所述可见光图像中的特征点匹配的特征点，直至找到匹配度最高的一个面图像；

基于多个相互匹配的特征点对，确定将所述可见光图像融合至所述面图像的第二变换矩阵。

10.根据权利要求9所述的装置，其中所述融合单元进一步被配置为：

通过所述第二变换矩阵，将所述特殊图像变换至所述面图像的对应区域。