[发明专利]一种深度相机与可见光相机之间的外参标定方法及系统

说明书

本发明涉及一种深度相机与可见光相机之间的外参标定方法。该标定方法包括：将棋盘格平面置于所述相机对的视野内，并拍摄不同变换位姿下的棋盘格平面，获取不同变换位姿下棋盘格平面的深度图像以及可见光图像；确定可见光相机坐标系下不同变换位姿的可见光棋盘格平面以及深度相机坐标系下不同变换位姿的深度棋盘格平面；根据可见光棋盘格平面以及深度棋盘格平面确定从深度相机坐标系到可见光相机坐标系的旋转矩阵；根据旋转矩阵确定从深度相机坐标系到可见光相机坐标系的平移向量；将深度相机坐标系按照旋转矩阵以及平移向量进行旋转和平移，使得深度相机坐标系与可见光相机坐标系重合，完成双相机的外参标定。本发明能够提高外参标定结果准确率。

技术领域

本发明涉及图像处理及计算机视觉技术领域，特别是涉及一种深度相机与可见光相机之间的外参标定方法及系统。

背景技术

在包含环境感知功能的应用场景中，将环境的深度信息和光学信息进行融合能够提高对环境的直观认识，为环境的感知带来更丰富的信息。环境的深度信息往往由基于飞行时间法或是结构光原理的深度相机提供。而光学信息则由可见光相机提供。在深度信息与光学信息的融合过程中，需要将深度相机与可见光相机之间的坐标系进行统一，即对深度相机与可见光相机之间的外参进行标定。

现有的标定方法大多基于点特征，通过手动选点或是使用特制的带孔或带有特殊边缘的标定板来获得深度图像和可见光图像中的对应点对，随后通过对应点来计算深度相机和可见光相机之间的外参。基于点特征的方法需要提供非常准确的点对应关系，但手动选点会带来较大误差，往往不能满足这种方法的需要。使用定制的带孔或有特殊边缘的标定板时，一方面对标定板有定制要求，成本较高；另一方面，使用者也需要对孔或边缘在深度图像上进行拟合，而深度相机在锐利边缘处有较大的成像噪声，拟合结果和真实位置之间往往存在误差，导致外参标定结果不够准确。

发明内容

本发明的目的是提供一种深度相机与可见光相机之间的外参标定方法及系统，以解决现有的标定方法外参标定结果准确率低的问题。

为实现上述目的，本发明提供了如下方案：

一种深度相机与可见光相机之间的外参标定方法，所述外参标定方法应用于双相机系统，所述双相机系统包括所述深度相机与所述可见光相机，所述深度相机与所述可见光相机之间的相对位姿固定，形成相机对，所述外参标定方法包括：

将棋盘格平面置于所述相机对的视野内，并多次变换所述棋盘格平面的位姿；

拍摄不同变换位姿下的所述棋盘格平面，获取不同变换位姿下所述棋盘格平面的深度图像以及可见光图像；

根据所述可见光图像，确定可见光相机坐标系下不同变换位姿的可见光棋盘格平面；

根据所述深度图像，确定深度相机坐标系下不同变换位姿的深度棋盘格平面；

根据所述可见光棋盘格平面以及所述深度棋盘格平面确定从所述深度相机坐标系到所述可见光相机坐标系的旋转矩阵；

根据所述旋转矩阵确定从所述深度相机坐标系到所述可见光相机坐标系的平移向量；

将所述深度相机坐标系按照所述旋转矩阵以及所述平移向量进行旋转和平移，使得所述深度相机坐标系与所述可见光相机坐标系重合，完成双相机的外参标定。

可选的，所述根据所述可见光图像，确定可见光相机坐标系下不同变换位姿的可见光棋盘格平面，具体包括：

利用张正友标定法对多张所述可见光图像进行标定，获取从每个变换位姿的棋盘坐标系变换到所述可见光相机坐标系的第一旋转矩阵以及第一平移向量；

对于任一张所述可见光图像，在所述棋盘坐标系下任取所述棋盘格表面上不共线的n个点；n≥3；

根据所述第一旋转矩阵以及所述第一平移向量，将所述n个点变换至所述可见光坐标系，确定变换后的点；