[发明专利]一种基于几何约束的三维激光扫描仪与相机标定方法

摘要

本发明涉及三维点云数据处理与三维场景重建技术领域，一种基于几何约束的三维激光扫描仪与相机标定方法，包括以下步骤：(1)制作标定板，(2)采集标定板三维点云和二维图像，(3)相机标定，(4)在相机坐标系中计算标定板平面，(5)建立点面几何约束，(6)构建线面几何约束，(7)构建面面几何约束，(8)计算点云与图像的几何映射关系。本发明的优点在于：对三维点云的结构进行深入分析，同时利用点面几何约束、线面几何约束和面面几何约束三种思想，来求解激光坐标系中点云与图像坐标系中图像之间的几何映射关系，充分利用了标定板平面与激光扫描点之间的几何关系，从而使三维激光扫描仪与相机的标定更加准确可靠。

主权项

1.一种基于几何约束的三维激光扫描仪与相机标定方法，其特征在于包括以下步骤：步骤1、制作标定板，标定板尺寸为72cm×72cm，其上均匀分布着边长为6cm的黑白栅格；步骤2、采集标定板三维点云和二维图像，固定三维激光扫描仪和相机，将标定板面向三维激光扫描仪和相机，利用三维激光扫描仪扫描标定板，获取标定板的三维点云，同时，利用相机拍摄标定板，获取标定板的二维图像；改变标定板的位姿，继续扫描拍摄标定板，从而获取一组不同位姿下标定板的三维点云P＝{P^j|1≤j≤m}和二维图像I＝{I^j|1≤j≤m}，其中，m为标定板位姿数，为第j个位姿标定板三维点云，为第j个位姿标定板三维点云中第i个激光扫描点，为第j个位姿标定板三维点云中激光扫描点的个数，为第j个位姿标定板二维图像，为第j个位姿标定板二维图像中第i个像素点，为第j个位姿标定板二维图像中像素点的个数；激光坐标系[O_l；x,y,z]的原点O_l位于激光光心，xy平面平行于三维激光扫描仪底座；相机坐标系的原点O_c位于相机镜头光心，平面平行于图像传感器平面；标定板坐标系的原点O_b位于标定板左上角顶点，平面位于标定板平面；图像坐标系[O_a；u,v]的原点O_a位于像平面左上角顶点，uv平面位于图像传感器平面；步骤3、相机标定，利用matlab的Calib工具箱和不同位姿标定板二维图像I＝{I^j|1≤j≤m}，计算相机内参矩阵A和每种位姿下的外部参数和其中，为第j个位姿下标定板坐标系与相机坐标系之间的旋转矩阵，为第j个位姿下标定板坐标系与相机坐标系之间的平移向量；步骤4、在相机坐标系中计算标定板平面，在相机坐标系中，在标定板第j个位姿下，用标定板向量来表示标定板平面，的方向与标定板平面的法向平行，的大小等于相机坐标系原点到标定板平面的垂直距离，利用旋转矩阵和平移向量计算标定板向量为其中，为旋转矩阵的第3列列向量；步骤5、建立点面几何约束，利用坐标变换，将标定板激光扫描点由激光坐标系变换到相机坐标系，并通过标定板激光扫描点在标定板平面上，来构建点面几何约束，具体包括以下子步骤：(a)利用坐标变换，将标定板激光扫描点由激光坐标系变换到相机坐标系，其表达形式按公式(1)进行描述，式中，为相机坐标系下第j个位姿标定板三维点云中第i个激光扫描点，为激光坐标系下第j个位姿标定板三维点云中第i个激光扫描点，R为激光坐标系与相机坐标系之间的旋转矩阵，t为激光坐标系与相机坐标系之间的平移向量；(b)在相机坐标系下，利用标定板激光扫描点在标定板平面上，构建点面几何约束，其表达形式按公式(2)进行描述，(c)由公式(2)，可计算得到公式(3)，(d)将公式(1)代入公式(3)，可计算得到公式(4)，(e)由公式(4)展开可得公式(5)，其中，为激光坐标系与相机坐标系之间的旋转矩阵，t＝(t₁,t₂,t₃)为激光坐标系与相机坐标系之间的平移向量，为相机坐标系中第j个位姿标定板向量，为激光坐标系下第j个位姿标定板三维点云中第i个激光扫描点；步骤6、构建线面几何约束，根据三维激光扫描仪的扫描方式，将标定板三维点云分解为若干线点云，并对每一条线点云进行直线拟合，获取拟合直线，该拟合直线称为标定板激光扫描线；利用坐标变换，将标定板激光扫描线由激光坐标系变换到相机坐标系，并通过标定板激光扫描线在标定板平面上，来构建线面几何约束，具体包括以下子步骤：(a)三维激光扫描仪有两种工作方式，一种是通过单线激光的横向和纵向旋转来实现三维扫描，另一种是通过多线激光的横向旋转来实现三维扫描，这两种工作方式的三维激光扫描仪获取的三维点云均为规则网格化三维点云数据，因此，可以根据三维点云网格的纵向和横向将标定板三维点云P^j分解为若干条线点云，即其中，为第j个位姿标定板三维点云中第k条线点云，其由一系列分布在激光扫描线上的有序离散点组成，为第j个位姿标定板三维点云中线点云的条数；(b)利用最小二乘法，对线点云进行直线拟合，获取拟合直线的方向向量和经过点该拟合直线称为标定板激光扫描线；(c)利用坐标变换，将标定板激光扫描线的方向向量和经过点由激光坐标系变换到相机坐标系，其表达形式按公式(6)和公式(7)进行描述，式中，为相机坐标系下第j个位姿标定板三维点云中第k条激光扫描线的方向向量，为激光坐标系下第j个位姿标定板三维点云中第k条激光扫描线的方向向量，为相机坐标系下第j个位姿标定板三维点云中第k条激光扫描线的经过点，为激光坐标系下第j个位姿标定板三维点云中第ｋ条激光扫描线的经过点，R为激光坐标系与相机坐标系之间的旋转矩阵，t为激光坐标系与相机坐标系之间的平移向量；(d)在相机坐标系下，利用标定板激光扫描线在标定板平面上，即标定板平面的法向垂直于标定板激光扫描线的方向向量，且标定板激光扫描线的经过点在标定板平面上，来构建线面几何约束，其表达形式按公式(8)和公式(9)进行描述，(e)由公式(9)，可计算得到公式(10)，(f)将公式(6)和公式(7)分别代入公式(8)和公式(10)，可计算得到公式(11)和公式(12)，(g)由公式(11)展开可得公式(13)，(h)由公式(12)展开可得公式(14)，步骤7、构建面面几何约束，对标定板三维点云进行平面拟合，获取拟合平面，该拟合平面称为标定板激光扫描面；利用坐标变换，将标定板激光扫描面由激光坐标系变换到相机坐标系，并通过标定板激光扫描面与标定板平面重合，来构建面面几何约束，具体包括以下子步骤：(a)利用最小二乘法，对第j个位姿标定板三维点云P^j进行平面拟合，获取拟合平面的法向量和经过点该拟合平面称为标定板激光扫描面；(b)利用坐标变换，将标定板激光扫描面的法向量d^j和经过点e^j由激光坐标系变换到相机坐标系，其表达形式按公式(15)和公式(16)进行描述，式中，为相机坐标系下第j个位姿标定板激光扫描面的法向量，d^j为激光坐标系下第j个位姿标定板激光扫描面的法向量，为相机坐标系下第j个位姿标定板激光扫描面的经过点，e^j为激光坐标系下第j个位姿标定板激光扫描面的经过点，R为激光坐标系与相机坐标系之间的旋转矩阵，t为激光坐标系与相机坐标系之间的平移向量；(c)在相机坐标系下，利用标定板激光扫描面与标定板平面重合，即标定板平面的法向量与标定板激光扫描面的法向量平行，且标定板激光扫描面的经过点在标定板平面上，来构建面面几何约束，其表达形式按公式(17)和公式(18)进行描述，其中，公式(17)中“||”表示向量平行；(d)由公式(18)，可计算得到公式(19)，(e)将公式(15)和公式(16)分别代入公式(17)和公式(19)，可计算得到公式(20)和公式(21)，(f)由公式(20)展开可得公式(22)和公式(23)，(g)由公式(21)展开可得公式(24)，步骤8、计算点云与图像的几何映射关系，在步骤2中，已采集不同位姿下标定板三维点云P＝{P^j|1≤j≤m}，第j个位姿标定板三维点云包含个激光扫描点，则不同位姿下标定板三维点云P包含的激光扫描点的个数为第j个位姿标定板三维点云包含条激光扫描线，则不同位姿下标定板三维点云P包含的激光扫描线的条数为同时，不同位姿下标定板三维点云P包含的标定板激光扫描面的个数为m；利用步骤5中子步骤(e)、步骤6中子步骤(g)和子步骤(h)、步骤7中子步骤(f)和子步骤(g)，构建个公式(5)、个公式(13)、个公式(14)、m个公式(22)、m个公式(23)、m个公式(24)，联立个公式形成超定方程组，表达形式按公式(25)描述，利用最小二乘法求解该超定方程组，即可获得激光坐标系与相机坐标系之间的旋转矩阵R和平移向量t；利用相机针孔模型、内参矩阵A、旋转矩阵R和平移向量t，构建激光坐标系中激光点与图像坐标系中像素点的几何映射关系，按公式(26)进行描述，式中，s为相机放大系数，(u,v)为图像坐标系中像素点坐标，A为步骤3中已求得的相机内参矩阵，R为步骤8中已求得的激光坐标系与相机坐标系之间的旋转矩阵，ｔ为步骤8中已求得的激光坐标系与相机坐标系之间的平移向量，(x,ｙ,ｚ)为激光坐标系中激光点坐标；完成三维激光扫描仪与相机的标定。