[发明专利]一种煤矿井下场景现实捕捉感知及仿真方法及设备

说明书

本发明提出一种煤矿井下场景现实捕捉感知及仿真方法及设备，该方法能够准确获取在一体化坐标系下的环境设备状态信息，而且针对关键目标对象进行实时捕获与追踪。同时通过数字孪生仿真分析，结合采场环境先验数据信息、目标对象物理模型，实现采场环境目标对象的实时可视化动态监测，为智能开采提供感知依据。

技术领域

本发明涉及煤矿开采技术领域，尤其涉及一种煤矿井下场景现实捕捉感知及仿真方法、装置、设备、存储介质。

背景技术

煤矿智能化开采是现阶段煤矿转型的必然趋势，而对于视觉感知技术的研究将极大程度上促进煤矿智能化开采进程。然而，现有煤矿井下场景感知系统往往手段单一，功能有限，无法为煤矿智能化无人开采提供完备技术支撑。因此，当前煤矿井下尚缺乏一套成熟的环境感知与现实捕捉方法与系统，针对采场环境设备状况进行充分、全面感知，为构建感知、决策、控制有效闭环，实现智能开采奠定基础。

现有技术中，有技术人员提出一种基于激光雷达与IMU的煤矿井下机器人运动平台定位方案并基于catograppher等SLAM开源算法进行煤矿井下空间地图构建，此方案利用机器人运动平台通过简单技术方案实现场景环境感知与定位，其定位结果精度较低；其具有机器人运动平台定位与建图功能，但此系统无法全面感知机器人运动平台周围环境状态，仅简单实现障碍物的避障功能；而且缺乏关键目标对象追踪捕获、环境状态感知与分析等功能。

发明内容

本发明提供一种煤矿井下场景现实捕捉感知及仿真方法、装置、设备、存储介质，旨在实现采场环境目标对象的实时可视化动态监测，为智能开采提供感知依据。

为此，本发明的第一个目的是提出一种煤矿井下场景现实捕捉感知及仿真方法，包括：

在特定坐标系中，获取场景中机器人运动平台目标对象的实时位姿信息，并获取场景地图信息进行地图构建；

基于场景地图信息进行场景关键目标识别和跟踪，同时结合场景中机器人运动平台目标对象的姿态数据进行关键目标的状态信息获取；

对运动目标对象进行稳定捕获和追踪，并根据所述场景局部地图信息进行障碍物目标的躲避，基于场景全局地图信息进行目标追踪与导航；

基于定位感知反馈的数据信息，结合场景环境先验数据信息、目标对象物理模型以及设备结构信息，针对数据进行数字孪生智能仿真分析向用户提供人机交互决策信息，以及设备控制信息，最终实现场景环境目标实时可视化动态监测，为智能开采提供感知依据。

其中，在特定坐标系中获取场景中机器人运动平台目标对象的实时位姿信息，并基于获取的场景地图信息进行局部地图与全局地图构建包括步骤：

获取多模态同步配准数据，并进行输出处理分析；其中，所述多模态同步配准数据包括已完成时钟同步与标定的视觉相机、激光雷达、惯性导航里程计(IMU)、UWB设备、轮速计及标识标靶识别装置的感知传感器所采集的数据；

基于分析处理后的所述多模态同步配准数据，进行场景特征提取与动态特征检测识别；

结合特征提取结果与动态特征检测识别结果进行场景特征筛选与匹配及场景特征追踪，获取初步机器人运动平台定位信息；

基于初步机器人运动平台定位信息，生成局部地图和全局地图，并对所述局部地图和全局地图进行优化；

对优化后的所述局部地图和全局地图进行地图矫正，并进行实景投影。

其中，在基于场景地图信息进行场景关键目标识别和跟踪，同时结合场景中机器人运动平台目标对象的姿态数据进行关键目标的状态信息获取的步骤中，包括：

通过所采集场景数据进行处理后得到的数据集，对所述感知算法模型进行训练，构建感知算法模型；