[发明专利]图像融合方法和装置

说明书

公开了图像融合方法和装置。所述图像融合方法，应用于一多重成像设备，所述多重成像设备包括全景相机和非全景相机，其中所述非全景相机能够拍摄可见光图像，并且也能够拍摄与所述可见光图像不同的特殊图像，所述方法包括：通过校正由所述全景相机获得的全景图像中的非线性畸变，将所述全景图像变换为多个第二图像；在所述多个第二图像中确定与由所述非全景相机获得的可见光图像匹配的一个第二图像以及其中的对应区域；以由所述非全景相机获得的特殊图像替换所述可见光图像，并将所述特殊图像融合至匹配的第二图像中的对应区域；以及将完成图像融合的第二图像以及其余的第二图像反变换回全景图像。

技术领域

本发明涉及图像处理领域，更具体地说，涉及应用于多重成像设备的图像融合方法和装置。

背景技术

自古以来，人们就渴望着能够得到周围世界的图像。从手工描绘，到胶片相机，再到数码相机和各种专用相机，成像技术经历着漫长而越来越高速的演进。

近年来，随着电子科技的发展，使用单一相机来进行拍摄已经不再能满足人们的需求。例如，一种可能的多重成像设备包括全景相机和非全景相机。然后，将全景相机拍摄的全景图像与非全景相机拍摄的非全景图像组合以获得更多信息。例如，非全景图像可以是诸如红外图像、紫外图像之类的特殊图像。

大部分现有技术更感兴趣于分别将可见光图像和特殊图像拼接成全景图像。然而，这种做法会在图像匹配方面花费大量的时间，而且如果算法不够有效时，这种方式会带来大量不可忽略的误差。

另外一种现有技术致力于可见光图像和特殊图像的直接匹配，用这种方式来获取感兴趣区域的更多信息。然而，由于可见光图像与特殊图像在图像特性上的差异(如，像素点的颜色属性)很大，因此不能使用特征点自动匹配的方法来实现两种图像的匹配，而只能通过手动特征点标记的方式来实现两种图像的匹配。

发明内容

鉴于以上情形，期望提供能够通过自动特征点检测的方式来匹配全景可见光图像和特殊图像的图像融合方法和装置。

根据本发明的一个方面，提供了一种图像融合方法，应用于一多重成像设备，所述多重成像设备包括全景相机和非全景相机，其中所述非全景相机能够拍摄可见光图像，并且也能够拍摄与所述可见光图像不同的特殊图像，所述方法包括：通过校正由所述全景相机获得的全景图像中的非线性畸变，将所述全景图像变换为多个第二图像；在所述多个第二图像中确定与由所述非全景相机获得的可见光图像匹配的一个第二图像以及其中的对应区域；以由所述非全景相机获得的特殊图像替换所述可见光图像，并将所述特殊图像融合至匹配的第二图像中的对应区域；以及将完成图像融合的第二图像以及其余的第二图像反变换回全景图像。

另外，在根据本发明实施例的方法中，所述多个第二图像为立方体全景图中六个面的图像。

另外，在根据本发明实施例的方法中，以由所述非全景相机获得的特殊图像替换所述可见光图像的步骤进一步包括：确定所述非全景相机中用以拍摄可见光图像的可见光镜头与用以拍摄特殊图像的特殊镜头之间的视差；判断所述视差是否满足预定条件；当所述视差满足所述预定条件时，直接以所述特殊图像替换所述可见光图像；当所述视差不满足所述预定条件时，确定所述特殊图像到所述可见光图像的第一变换矩阵，并以变换后的特殊图像替换所述可见光图像。

另外，在根据本发明实施例的方法中，在所述多个第二图像中确定与由所述非全景相机获得的可见光图像匹配的一个第二图像以及其中的对应区域的步骤进一步包括：对于所述六个面的图像中的每一个，搜索与所述可见光图像中的特征点匹配的特征点，直至找到匹配度最高的一个面图像；基于多个相互匹配的特征点对，确定将所述可见光图像融合至所述面图像的对应区域的第二变换矩阵。

另外，在根据本发明实施例的方法中，将所述特殊图像融合至匹配的第二图像中的对应区域的步骤进一步包括：通过所述第二变换矩阵，将所述特殊图像变换至所述面图像的对应区域。