[发明专利]高空平台多视角激光视觉惯性融合定位建图装置及方法

权利要求书

1.一种高空平台多视角激光视觉惯性融合定位建图装置，其特征在于：包括固定的云台支架、单目相机、立体相机、IMU惯性传感器、多个激光雷达、时间同步系统和计算主控单元；所述激光雷达包括水平360度激光雷达、垂直360度激光雷达、侧视固态激光雷达；所述单目相机包括第一环视鱼眼相机、第二环视鱼眼相机，所述立体相机包括前视、后视立体相机和上视、下视立体相机；所述水平360度激光雷达、第一环视鱼眼相机与IMU惯性传感器固定在定位建图装置基座平台中心处的云台上；所述前视立体相机与后视立体相机固定在定位建图装置基座平台上，安装于系统边缘部分；所述第二环视鱼眼相机、侧视固态激光雷达同样固定在定位建图装置基座平台上，安装于系统边缘部分，其中第二环视鱼眼相机与侧视固态激光雷达邻近；所述垂直360度激光雷达垂直于基座平台安放；所述装置与斗臂车升降平台的末端刚性固定，随工作斗进行移动，当斗臂车开始工作，操纵液压臂控制旋转和升降，所述装置在升降开始时刻通过所述时间同步系统同步开机；所述激光雷达扫描环境，所述IMU惯性传感器进行预积分获取旋转和位移增量，将点云数据和IMU惯性传感器数据反馈到所述计算主控单元，分别进行相邻帧匹配得到激光里程计，接着进行全局因子图优化，最后进行回环检测将运算结果融合构建地图，通过后端非线性优化得到整体运动信息，确定工作斗实时位姿态。

2.根据权利要求1所述的一种高空平台多视角激光视觉惯性融合定位建图装置，其特征在于：所述激光雷达为机械旋转式激光雷达或固态面阵式激光雷达。

3.根据权利要求1或2所述的一种高空平台多视角激光视觉惯性融合定位建图装置的定位建图方法，其特征在于：通过设备安装与标定模块、时间同步模块和高空定位建图算法模块实现；

所述设备安装与标定模块用于设计云台支架，将激光雷达、单目相机、立体相机与IMU惯性传感器刚性连接，确保在高空作业平台升降的过程中，激光雷达、单目相机、立体相机与IMU惯性传感器之间的相对位置不发生改变，同时将云台支架与升降平台工作斗刚性固连，确保IMU惯性传感器如实反映升降平台工作斗的运动位姿；

所述定位建图装置的前端设置感知设备，其为中心位置为水平360度激光雷达，随高空作业平台升高过程感知水平方向环境；在水平方向的轴线上安装前视、后视立体相机，与水平方向的多线激光雷达进行图像-点云模态融合，为环境重构提供多目视差法测深度和激光反射测深度冗余信息；同时针对斗臂车高空作业平台，后视立体相机观测移动的斗臂，用于进行姿态确定和动态物体去除；所述感知设备侧边竖直放置垂直360度激光雷达，用于当水平方向感知需要更密集点云时进行补充；

所述时间同步模块进行单目相机、立体相机、激光雷达、IMU惯性传感器和主控计算模块的时间同步；

所述高空定位建图算法模块用于使得水平方向的传感器组感知水平360度范围的环境信息，其包括水平方向的传感器组视觉惯性系统、水平方向的传感器组激光惯性系统和垂直方向激光雷达与IMU惯性传感器系统。

4.根据权利要求3所述的定位建图方法，其特征在于：所述时间同步模块的第一级为GNSS接收模块，通过卫星获取纳秒级精度的UTC真值时间数据，FPGA模块以低延时逻辑并行电路处理授时信息，将GNSS信号转化为PPS信号和NEMA信号，激光雷达接入两个信号进行时间同步，此同步信号对水平方向的360度激光雷达、固态面阵激光雷达及竖直方向的360度激光雷达同步作用，同时将PPS信号接入IMU惯性传感器和分频器模块，PPS信号使IMU惯性传感器的惯性数据时间戳与UTC真值时间保持一致；接入分频器模块的PPS信号根据所需帧率对相机进行触发，相机触发信号在整秒边沿与PPS信号对齐，两信号时延在几十ns之内，因此相机曝光图像时间与IMU惯性传感器数据采集时间保持同步。

5.根据权利要求3所述的定位建图方法，其特征在于：各个相机时间在设备制造期间便完成时间的同步，因此触发信号同时触发串行触发线上的所有相机；所述主控计算模块接受由FPGA模块转化发送的NDT网络数据包，通过NDT协议进行时间同步。