[发明专利]一种可见光与红外双光相机旋转矩阵自动校准方法

说明书

本发明公开了一种可见光与红外双光相机旋转矩阵自动校准方法，其具体实现流程如下：步骤一、标定可见光相机与红外相机的焦距，步骤二、可见光相机到红外相机旋转矩阵的初始化，步骤三、可见光相机对每一帧进行人脸检测，如果检测出人脸框，则将当前帧的全部人脸框坐标、以及当前帧的时间信息打包发送给红外相机。本发明能够应用于红外相机与可见光相机组成的双目相机中，在物理结构确定的情况下，可以实时自动校准旋转矩阵，使可见光人脸框与红外人脸框达到最大的匹配，该算法的实时性，能够有效的避免由于镜头畸变造成视频边缘区域，人脸框从可见光相机转换到红外相机上时误差较大的情况。

技术领域

本发明涉及双光相机技术领域，具体为一种可见光与红外双光相机旋转矩阵自动校准方法。

背景技术

现有的可见光与红外双光相机旋转矩阵自动校准方法的解决方案为Bouguet算法，在双目可见光相机结构中，首先计算出左右相机坐标系之间的旋转矩阵R和平移矩阵T，然后拍摄同一场景，两个相机分别得到一个像平面，通过对两个像平面进行旋转，使两个像平面平行，最后对其中一个像平面围绕投影中心旋转，使得两个相机的行对准，该算法实施的前提是，对于同一场景，双目相机均能获得清晰的成像，这样才能进行后续的像平面旋转和行对准步骤，因此，受限于双目相机都是可见光相机的场景，在红外和可见光相机的无接触式人脸测温场景中，红外相机无法获取与可见光相机相同的RGB成像，只能输出与人体温度相近的场景的大致轮廓。

本产品应用于双光相机的立体校正过程，该算法在实际使用中，避免了使用双目相机的两幅RGB图像的条件，而是仅采用了图像中特定物体所在矩形区域的坐标信息，进行匹配后，将其中一个相机的矩形坐标转换到另一个相机的像素坐标系中，使两个矩形区域重叠区域最大化，进而校准双目相机间的旋转矩阵，实现双光相机的立体校准。

发明内容

本发明的目的在于提供一种可见光与红外双光相机旋转矩阵自动校准方法，具备误差小，匹配度高和的优点，解决了背景技术中所提到的问题。

为实现上述目的，本发明提供如下技术方案：一种可见光与红外双光相机旋转矩阵自动校准方法，其特征在于：其具体实现流程如下：

步骤一、标定可见光相机与红外相机的焦距。

步骤二、可见光相机到红外相机旋转矩阵的初始化：假设双目相机在装备过程中不存在误差，那么对于装备完成的双目相机设备，在世界坐标系中，可见光相机与红外相机在水平x、纵向z方向上坐标相同，仅在垂直方向(y，对于垂直放置的双目相机)上存在差值，相机光轴平行且朝向相同，因此红外相机对于可见光相机在x、z方向上偏移量为0，在y方向的偏移量通过测量可得，其光轴在x、y、z三个方向上的相对偏角均为0。

基于双目相机在x、y、z三个方向的相对角度，经过罗德里格斯变换，可以得到红外相机相对于可见光相机的旋转矩阵，记为R，如下：

由红外相机在x、y、z方向上坐标的偏移量，可得到平移矩阵，记为T，[t₀,t₁,t₂]^T，同时结合R、T可得初始化的齐次RT矩阵，如下：

步骤三、可见光相机对每一帧进行人脸检测，如果检测出人脸框，则将当前帧的全部人脸框坐标、以及当前帧的时间信息打包发送给红外相机。

步骤四、人脸运动状态判断与可见光相机人脸框坐标转换。

步骤五、可见光转换人脸框与红外人脸框的人脸匹配。

步骤六、计算人脸框对的匹配误差，并反向修正旋转矩阵：计算全部的人脸框对的iou误差，相加作为总误差：