[发明专利]基于互信息配准的可见光与红外相机联合标定方法

说明书

本发明公开了基于互信息配准的可见光与红外相机联合标定方法，属于图像处理和计算机视觉领域。通过提取并匹配特征点来对外参进行修正。为了缩小特征点的匹配范围，在特征点检测之前，本发明通过互信息来对红外图像和可见光图像进行配准。根据配准之后的结果进行匹配，可以有效利用可见光图像和红外图像之间的位置关系，从而更加有效的对红外相机和可见光相机进行联合自标定，操作简便，结果精确。

技术领域

本发明属于图像处理和计算机视觉领域，涉及基于互信息配准的可见光与红外相机联合标定方法。

背景技术

红外线(Infrared)是波长介于微波与可见光之间的电磁波，波长比红光要长。高于绝对零度(-273.15℃)的物质都可以产生红外线。红外图像由于其具有透过雾、雨等进行观察的能力而被广泛用于军事国防、资源勘探、气象预报、环境监测、医学诊治、海洋研究等不同领域。利用红外线可以隔着薄雾和烟雾拍摄景物，而且在夜间也可以进行红外摄影。红外相机成像的优点是在极端场景(低光、雨雪、浓雾等)也可以成像，缺点是分辨率低、图像细节较模糊。相比之下，可见光相机的优点是分辨率高、图像细节清晰，但是在极端场景下不能成像。因此，将红外相机和可见光相机结合起来具有重大的现实意义。

立体视觉是计算机视觉领域的重要主题。其目的是重建场景的3D几何信息。双目立体视觉是立体视觉的重要领域。在双目立体视觉中，左右摄像头用于模拟两只眼睛。通过计算双目图像之间的差异来计算深度图像。双目立体视觉具有效率高，准确度高，系统结构简单，成本低的优点。由于双目立体视觉需要匹配左右图像捕获点上的相同点，因此相机两个镜头的焦距和图像捕获中心，以及左右两个镜头之间的位置关系。为了得到以上数据，我们需要对相机进行标定。获取可见光相机和红外相机之间的位置关系称为联合标定。

在标定过程中获得了相机的两个镜头参数和相对位置参数，但这些参数不稳定。当温度、湿度等发生变化时，相机镜头的内部参数也会发生变化。另外，由于意外的相机碰撞，两个镜头之间的位置关系可能会改变。因此，每次使用摄像机时，都必须修改内部和外部参数，这就是自标定。在已知相机内部参数的情况下，通过分别提取红外图像特征和可见光图像特征来对红外镜头和可见光镜头的位置关系进行修正，即红外相机与可见光相机的联合自标定。

为了缩小特征点的匹配范围，在特征点检测之前，通过互信息来对红外图像和可见光图像进行配准。互信息(Mutual Information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。

发明内容

本发明旨在解决由于温湿度、震动等因素造成红外相机和可见光相机位置关系的改变。从拍摄到的红外场景图像和可见光场景图像中提取并匹配特征点，并根据匹配的特征点对红外相机和可见光相机之间的位置关系进行修正，从而解决红外相机和可见光相机因温度和震动导致其外参发生变化的问题。

技术方案为，基于互信息配准的可见光与红外相机联合标定方法，包括如下步骤：

1)原图校正：将原图根据红外相机和可见光相机各自内参和原来的外参进行去畸变和双目校正；

2)根据红外图像与可见光图像的互信息确定红外图像在可见光图像的最佳对应位置，即对红外图像和可见光图像进行配准；

3)在配准后的红外图像和可见光图像上分别提取特征点；

4)对上一步提取的特征点进行匹配；

5)根据步骤2)和步骤3)的结果计算配准后的红外图像特征点对应于红外原图像的特征点；

6)判断特征点覆盖区域：将图像分成m*n个格子，如果特征点覆盖到所有格子，则进行下一步，否则继续拍摄图像，重复步骤1)～步骤5)；

7)修正标定结果：使用所有特征点的图像坐标计算校正之后的两相机之间的位置关系，然后与原来的外参相叠加。