[发明专利]一种用于融合红外和RGB信息的相机标定方法

说明书

本发明涉及一种用于融合红外和RGB信息的相机标定方法，包括底座、红外相机、RGB相机、分束器和标定板，红外相机通过第二三轴相机夹具设置在底座上，RGB相机通过第一三轴相机夹具设置在底座上，分束器通过分束器夹具设置在底座上，标定板为双色棋盘，双色棋盘上两种颜色的棋盘格上分别覆盖有高导热性材料和低导热性材料；分束器包括透镜，透镜的前、后表面分别镀有红外增透膜和可见光反射膜。与现有技术相比，本发明对红外相机和RGB相机进行联合标定，能直接采集实现空间对齐的红外和RGB图像对，避免视差导致的对齐图像出现空洞，促进红外和RGB信息融合的相关工作。

技术领域

本发明涉及自动驾驶视觉感知技术领域，尤其是涉及一种用于融合红外和RGB信息的相机标定方法。

背景技术

随着以自动驾驶为代表的人工智能研究兴起，基于视觉的感知技术成为近年来的一个热门研究课题。现有的大多数视觉算法只关注RGB图像，它们可能无法在光照条件不足的情况下工作，如夜间。为了克服上述局限性，许多工作已经聚焦在开发多光谱视觉算法上。红外相机捕捉物体的辐射热量，因此即使在低光照的情况下也能正常工作；但它们容易失去一些视觉特征细节，而这可在RGB图像中呈现。这使得多光谱图像提供了互补信息，通过信息融合能够提升视觉算法的性能。

红外和RGB信息融合相关工作的前提是红外和RGB图像在空间上的像素对齐，而目前绝大多数同时采集红外和RGB图像的公开数据集没有做到这一点。双目系统经外参标定后，可以将图像上的2D点结合深度信息转为3D点，再映射到另一个相机视角下，完成像素对齐。但这种方法需要公开深度信息的同时还会因相机视差在转换过程中出现空洞。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种用于融合红外和RGB信息的相机标定方法，对红外相机和RGB相机进行联合标定，能直接采集实现空间对齐的红外和RGB图像对，避免视差导致的对齐图像出现空洞，促进红外和RGB信息融合的相关工作。

本发明的目的可以通过以下技术方案来实现：

一种用于融合红外和RGB信息的相机标定方法，用于标定红外相机和RGB相机，所述的红外相机和RGB相机分别通过第二三轴相机夹具和第一三轴相机夹具设置在底座上，所述的底座上设有位于红外相机和RGB相机之间的分束器，所述的分束器包括透镜，所述的透镜的前、后表面分别镀有红外增透膜和可见光反射膜；

所述的方法包括：

利用标定板标定红外相机和RGB相机；

所述的标定板为双色棋盘，所述的双色棋盘上两种颜色的棋盘格上分别覆盖有高导热性材料和低导热性材料；

所述的标定过程包括以下步骤：

S1、加热标定板；

S2、将标定板以不同位姿置于红外相机和RGB相机的共视范围内，采集多对时间同步的红外和RGB图像对；

S3、利用红外和RGB图像对，计算红外相机和RGB相机的内参，以及红外相机到RGB相机的外参；

S4、根据计算的相机内、外参将红外图像重投影到RGB图像平面，判断计算结果是否满足精度要求，若是则执行步骤S5，否则删除误差较大的红外和RGB图像对，并执行步骤S3；

S5、判断外参中的旋转矩阵是否为单位矩阵，若是，执行步骤S6，否则根据旋转矩阵，通过第一三轴相机夹具调节RGB相机绕竖直轴旋转，使旋转矩阵为单位矩阵，执行步骤S2；

S6、根据外参中的平移向量，通过第一三轴相机夹具调节RGB相机的三轴位移，使平移向量为零向量，此时红外相机和RGB相机的坐标系重合，完成标定；

对红外相机和RGB相机进行联合标定，能直接采集实现空间对齐的红外和RGB图像对，避免视差导致的对齐图像出现空洞，促进红外和RGB信息融合的相关工作。