[发明专利]基于激光扫描测距仪与多相机融合的透视成像方法

摘要

本发明涉及一种基于激光扫描测距仪与多相机融合的透视成像方法，摒弃了传统方法只采用图像传感器的方式，在使用图像传感器获取图像信息的基础上引入了激光扫描测距仪获取场景的点云数据，利用点云数据获取场景的深度信息，根据深度信息进行聚焦深度的选择，减少时间复杂度。同时本发明利用场景的深度信息，可以对获得的投影点进行筛选，提高透视成像结果的清晰度。由于本发明采用全景相机获取场景的图像信息，同时获取多视角的图像，因此能够获取多视角透视成像结果。本发明在自建数据库上进行测试结果，测试结果显示本方法能够快速有效的得到更清晰的多视角透视成像结果。

主权项

一种基于激光扫描测距仪与多相机融合的透视成像方法，其特征在于步骤如下：步骤1：确定以激光扫描测距仪载台中心为世界坐标系原点的世界坐标系，测量激光扫描测距仪A、B和C的二维扫描坐标系的原点到世界坐标系的距离和偏转角度，计算激光扫描测距仪扫描获取的二维点云到世界坐标系的旋转矩阵和平移矩阵，完成激光扫描测距仪的标定；步骤2：对激光扫描测距仪A在t时刻采集的目标点云集Pt中每个点的领域进行高斯分布统计分析，删除不符合高斯分布的离群点，获得目标点集P't；使用KD‑tree方法对激光扫描测距仪A在t‑1时刻采集的点集Pt‑1构建拓扑结构，利用点集P't查找点集Pt‑1中对应的临近点，获得参考点集Pt‑1'；使用ICP算法获取目标点集P't到参考点集Pt‑1'的2x2的旋转矩阵Rt'和2x1的平移矩阵Tt'，计算点集Pt投影到全局世界坐标系的旋转矩阵Rt＝Rt‑1gR′t，平移矩阵Tt＝RtgT′t+Tt‑1，其中Rt‑1、Tt‑1分别为点集Pt‑1'到全局世界坐标系的旋转矩阵和平移矩阵，将点集Pt投影到全局世界坐标系中，获取二维地图；步骤3：利用张氏标定法对第0‑5号相机的镜头进行内参标定，获取内参矩阵K0,K1,K2,K3,K4,K5；步骤4：利用黑白格标定板方法，计算标定平面参数N，采用标准线性最小二乘法计算矩阵H：N·HPl^=||N||2]]>通过H计算第0号镜头相对于激光扫描测距仪A的标准正交方向矩阵以及位置向量利用非线性优化算法进一步优化方向矩阵以及位置向量同样方法得到第1号镜头与激光扫描测距仪B的标准正交方向矩阵以及位置向量第4号镜头与激光扫描测距仪C的标准正交方向矩阵以及位置向量为激光扫描测距仪获取的点云坐标Pl的简化，步骤5：根据二维地图构建过程中所获取的点集PtA到全局世界坐标系的旋转矩阵Rt以及平移矩阵Tt，所述的PtA为激光扫描测距仪A在t时刻获取激光点云集合，则在t时刻相机视角对应的位姿参数为：Rc=Rt001,Tc=Tt0T]]>步骤6：利用二维地图构建过程中使用的ICP算法，获取激光扫描测距仪B或C在t时刻采集的点集Ptis(i＝1,2,L,n.s＝B,C)到上一组点集Pt0s(s＝B,C)所在坐标系的旋转矩阵Rti0s和Tti0s，计算变换后的点集及Ptis^=Rti0s·Ptis+Tti0s,(i=1,2,L,n.s=B,C)]]>计算及到第1号镜头及第4号镜头的相机坐标系中的对应点集合：PtiB^=Rc1lTc1l01Pc1]]>PtiC^=Rc4lTc4l01Pc4]]>根据小孔成像模型Pimg＝KPc获取点集Pt1B,Pt2B,L,PtnB以及Pt1C,Pt2C,L,PtnC在彩色图像上的对应像素坐标，K表示相机内参标定获取的相机内参矩阵；从而得到点云数据的彩色纹理信息，实现点云数据与图像数据的融合，获取图像数据中部分像素所对应的深度信息；步骤7：计算聚焦平面Πdes上的像素点pdes(x,y)在参考视角坐标系下对应的3维空间点pref为：pref＝pdesgstep+ws其中step表示在参考视角坐标系下Πdes中一个像素的大小，ws表示Πdes在参考视角坐标系下的起始点，所述的参考视角为每个相机采集的第一帧图像；step可以由以下公式求取：step=stepxstepy=±0.5*(wh/fxfy)*dep]]>其中w和h分别表示合成图像的宽和高，fx和fy表示相机的焦距，dep表示聚焦平面的深度，计算pref在世界坐标系下的对应点pw：pw＝Rrefgpref+Tref其中Rref表示参考视角的旋转矩阵，Tref表示参考视角的平移矩阵，通过对pw利用针孔相机模型进行投影变换，得到像素点pdes(x,y)在每一个视角下对应的点pi'，并组成一个点集合表示为P'＝{p1',p2',L,pn'}：其中[Ri|Ti]为第i个视角的旋转矩阵和平移矩阵，如果pi'在成像平面Πi上，则可以获得这个点的RGB值，记为cj，以及深度值dj，同样方法获取所有投影点的像素值，组成颜色值集合Cdes＝{c1,c2,L,cn}和深度值集合Ddes＝{d1,d2,L,dn}，根据深度值信息，去除不合理的投影点，采用求取平均值的方式，获取点pdes(x,y)的颜色值，得到遮挡目标的透视成像。