[发明专利]一种煤矿井下场景现实捕捉感知及仿真方法及设备

权利要求书

1.一种煤矿井下场景现实捕捉感知及仿真方法，其特征在于，包括：

在特定坐标系中，获取场景中机器人运动平台目标对象的实时位姿信息，并获取场景地图信息进行局部地图与全局地图构建；

基于场景地图信息进行场景关键目标识别和跟踪，同时结合场景中机器人运动平台目标对象的姿态数据进行关键目标的状态信息获取；

对运动目标对象进行稳定捕获和追踪，并根据所述场景局部地图信息进行障碍物目标的躲避，基于场景全局地图信息进行目标追踪与导航；

基于定位感知反馈的数据信息，结合场景环境先验数据信息、目标对象物理模型以及设备结构信息，针对数据进行数字孪生智能仿真分析向用户提供人机交互决策信息，以及设备控制信息，最终实现场景环境目标实时可视化动态监测，为智能开采提供感知依据。

2.根据权利要求1所述的煤矿井下场景现实捕捉感知及仿真方法，其特征在于，在特定坐标系中获取场景中机器人运动平台目标对象的实时位姿信息，并基于获取的场景地图信息进行局部地图与全局地图构建的步骤包括：

获取多模态同步配准数据，并进行输出处理分析；其中，所述多模态同步配准数据包括已完成时钟同步与标定的视觉相机、激光雷达、惯性导航里程计(IMU)、UWB设备、轮速计及标识标靶识别装置的感知传感器所采集的数据；

基于分析处理后的所述多模态同步配准数据，进行场景特征提取与动态特征检测识别；

结合特征提取结果与动态特征检测识别结果进行场景特征筛选与匹配及场景特征追踪，获取初步机器人运动平台定位信息；

基于初步机器人运动平台定位信息，生成局部地图和全局地图，并对所述局部地图和全局地图进行优化；

对优化后的所述局部地图和全局地图进行地图矫正，并进行实景投影。

3.根据权利要求1所述的煤矿井下场景现实捕捉感知及仿真方法，其特征在于，在基于场景地图信息进行场景关键目标识别和跟踪，同时结合场景中机器人运动平台目标对象的姿态数据进行关键目标的状态信息获取的步骤中，包括：

通过所采集场景数据进行处理后得到的数据集，对所述感知算法模型进行训练，构建感知算法模型；

将实时的场景数据输入已完成构建的所述感知算法模型，输出结果为目标对象检测识别结果及场景区域分割结果；

基于机器人运动平台定位数据与局部地图数据，将目标对象检测识别或者场景区域分割结果映射到相应特征地图中，实现目标对象在场景地图中的实例分割；

根据目标对象在场景地图中的实例分割结果，通过分析处理目标对象所在的局部空间地图数据，实现目标对象状态实时感知。

4.根据权利要求3所述的煤矿井下场景现实捕捉感知及仿真方法，其特征在于，在构建感知算法模型的步骤中，基于数据分析与处理计算，选择模型训练架构，完成深度神经网络结构设计；其中，

针对视觉图像的场景分割与目标对象检测识别使用yolov7，针对激光雷达点云的场景分割使用SPVCNN，针对图像与激光点云融合数据的实例分割使用2DPASS。

5.根据权利要求3所述的煤矿井下场景现实捕捉感知及仿真方法，其特征在于，对运动目标对象进行稳定捕获和追踪，并根据所述场景局部地图信息进行障碍物目标的躲避，基于场景全局地图信息进行目标追踪与导航的步骤包括：

在目标对象检测识别的基础上，结合目标对象定位信息与场景地图实例分割结果信息，基于特征匹配与滤波、非线性优化等算法进行目标对象的二维与三维特征追踪；

根据目标对象特征追踪结果，基于运动模型对目标对象移动方向、移动速度、移动加速度等状态信息进行移动规划预测；

根据目标对象的移动规划预测结果，结合场景全局地图数据进行机器人运动平台的路径规划与状态控制规划；

在机器人运动平台的目标路径规划完成的基础上，实时判断目标对象是否被稳定捕获，完成机器人运动平台对目标对象的捕获追踪。