[发明专利]基于多维语义映射RGBD多相机标定方法、系统及应用

权利要求书

1.一种基于多维语义映射RGBD多相机标定方法，其特征在于，所述基于多维语义映射RGBD多相机标定方法包括：

采用硬同步触发机制同步获取多路RGBD相机同一时钟下彩色图像数据和深度图像数据；

基于二维码与光束平差法的RGBD多相机初始标定，在所有RGBD相机共视区域拍摄一张二维码标定板图像；在获取的标定图像上，先后做二维码检测、直接线性变换、光束平差算法来得到RGBD多相机之间的初始位姿；

基于多维语义映射的迭代最近点ICP算法，在得到的RGBD相机之间的初始位姿基础上，关联二维彩色图语义信息与三维深度空间信息，得到相邻相机之间的空间点重叠区域；在相邻相机之间重叠区域的基础上，采用ICP算法得到RGBD多相机之间的精确位姿。

2.如权利要求1所述的基于多维语义映射RGBD多相机标定方法，其特征在于，所述基于多维语义映射RGBD多相机标定方法还包括：

步骤一，使用同步触发线来同步RGBD多相机的时钟，同步拍摄放置在相机共视区域的标定板彩色图像，将获取的彩色图像做灰度变换处理，并利用自适应阈值方式对图像进行分割，利用Suzuki算法对分割后的图像进行轮廓提取，并通过Douglas-Peucker算法选取轮廓近似为四边形的最外围四边形；对提取后的四边形做仿射变换，并根据其信息得到彩色图像中二维码的角点位置以及ID信息；

步骤二，求解RGBD多相机之间的初始位姿，二维码标定在世界坐标系下的位置为点p_i(i＝1，…，N)，对应在彩色图像上像素坐标系中的位置为(u_i，v_i)(i＝1，…，N)，使用DLT算法构建方程来求解相机的位姿；

步骤三，全局优化求解RGBD多相机之间的位姿关系，在步骤二得到的相机之间位姿基础，并结合世界坐标系下的三维点P_i(i＝1，…，N)以及对应的像素坐标旋转和平移的增广矩阵的李代数表示为ξ，对应的世界坐标到像素标定的表达式为h，使用光束平差法构建代价函数，全局优化RGBD多相机之间的位姿；

步骤四，根据二维语义信息和三维空间信息构建相邻相机之间空间重叠点云；

步骤五，对步骤四得到的重叠点云做预处理操作；

步骤六，对相邻相机点云做配准处理来精确求解出RGBD多相机之间位姿关系。

3.如权利要求2所述的基于多维语义映射RGBD多相机标定方法，其特征在于，所述步骤二使用DLT算法构建方程来求解相机的位姿，其中方程的表示形式为：

在求解相机之间位姿过程中，求解旋转和变换矩阵构成的增广矩阵，总共包含12个未知数；采集至少6对三维点与二维点的对应点，使用SVD法来对方程求解，得到RGBD相机之间的位姿关系。

4.如权利要求2所述的基于多维语义映射RGBD多相机标定方法，其特征在于，所述步骤三构建的代价函数为：