[发明专利]基于5G的煤矿井下无人机巡视信息感知方法及其感知系统

权利要求书

1.基于5G的煤矿井下无人机巡视信息感知方法，其特征在于：包括如下步骤：

步骤一：构建数据集：通过不同的操作人员操作作为僚机的无人机进行试飞，所述僚机记录不同人操作无人机面对同一飞行境遇时所产生的非均等代价，并将飞行操作按照不同区域随机排列；

步骤二：构建操作集：根据步骤一采集的无人机的飞行数据，通过损益函数计算并保留飞行的指令参数；

步骤三：根据步骤一、步骤二构建的数据集和操作集使僚机进行初步学习具备自主学习能力后，长机发布巡视任务指令，长机和僚机自检满足升空条件后进行矿井巡视；

步骤四：在巡视过程中僚机通过强化学习机制进行进一步学习，同时将传感器采集数据和图像信息发送至长机；

步骤五：长机接收僚机发送的传感器数据及图像信息，通过深度学习完成图像处理和参数提取，同时通过对数据的分析处理完成长机的强化学习机制；

步骤六：在巡视过程中长机、僚机之间通过协同合作机制完成巡视任务，且在将巡视区域全部巡视完毕后，自主结束巡视任务，返航至充电站，进行电能储备；

所述步骤一中的非均等代价具体指僚机处在某一相同飞行情境时，根据不同人所做出的不同操作，所产生的不同结果，所述僚机同时记录不同的人飞行操控在试飞过程中巡检的内容和做出的飞行操作；

所述步骤二中的损益函数采用多元线性回归方程模型，计算公式为：

y_i＝ax₁+bx₂+cx₃+dx₄+…；

上式中：y_i为第i项操作对应的损益值，x_i为测量项的参数，a，b，c，d…为权值参数；

步骤四中的僚机强化学习机制的步骤如下：

步骤4.1：长机、僚机均上电启动，自检电量是否充足并符合升空条件，符合条件后转入步骤4.2，不符合条件的重新上电自检；

步骤4.2：工作人员操作僚机开始巡视四周并采集图像，并将图像信息集成发送至长机，僚机根据长机更新发布给僚机的判断机制判断当前区域是否为设定的巡视区域，当判断为是设定区域时转入步骤4.3，当判断为不是设定区域时重复步骤4.2直至僚机进入设定的巡视区域后进入步骤4.3；

步骤4.3：僚机通过视觉slam算法进行地形建模，并将周围的障碍物进行标记，在标记完成后，形成整体建模的集成，并根据僚机具备的判断机制判断当前区域是否可巡视，当判断为当前区域可巡视时转入步骤4.4，当判断为当前区域不可巡视时转入步骤4.2重新进行另一区域的图像采集；

步骤4.4：僚机进入悬停状态，通过TOF相机和可见光相机，对四周进行图像采集，同时控制传感器采集当前位置的环境参数，僚机对采集图像数据的地形、人物、设备从视觉、听觉角度进行特征点提取，并发送给长机，同时识别工人的操作是否规范，当判断为操作规范时，转入步骤4.5，当判断为操作不规范时通过僚机上的喊话器发出警告信号并对违规操作人员的工号进行记录；

步骤4.5：将当前区域巡视结束后，判断整体巡视区域是否完成，当所有区域都巡视完成后，僚机返航至充电站，当存在未被巡视的区域，僚机将前往未被巡视的区域转入步骤4.2进行进一步巡视；

所述步骤五中的长机强化学习机制的步骤如下：

步骤5.1：长机、僚机均上电启动，自检电量是否充足并符合升空条件，符合条件后转入步骤5.2，不符合条件的重新上电自检；

步骤5.2：操作人员将长机定位移动到可接受最远僚机信号的安全区域后悬停，并通过长机与僚机间的测试机制判断数据收发是否正常，当判断为数据收发正常时，转至步骤5.3，当判断为数据收发不正常时，重复步骤5.2直至数据收发正常后转入步骤5.3；

步骤5.3：长机接收僚机采集的图像数据，通过对图像数据进行分析处理后判断僚机当前所处区域是否是标记区域，当判断为是标记区域后，转入步骤5.4，当判断为不是标记区域后，长机对上述区域进行标记并控制僚机采集上述区域的参数信息，并将上述区域参数信息发送至长机后重复步骤5.3；

步骤5.4：长机根据僚机在步骤5.3中飞行采集回来的数据，重新整合特征，求损益值，判断此次飞行从功耗、效率、吞吐是否更加有益，当判断为有益时，将原有的操作集进行更新并修改行为，编码协同至僚机，当计算损益值后，判断为没有益处时，或者和原先损益值相等时，保持原有操作集，并且标记此次巡视区域为已巡视；

步骤5.5：当所有僚机巡视完成后，长机与僚机共同返航至充电站。

2.根据权利要求1所述的基于5G的煤矿井下无人机巡视信息感知方法，其特征在于：所述步骤六中的长机、僚机之间协同合作机制的步骤如下：

步骤6.1：长机、僚机均上电启动，自检电量是否充足并符合升空条件，符合条件后判断长机和僚机是否需要介入人为控制，当判断为需要人为控制的转入步骤6.2，当判断为不需要人为控制的转入步骤6.4，不符合升空条件的重新上电自检后判断是否需要人为控制；

步骤6.2：僚机记录人为控制的动作原因及操作动作，长机记录通过人为控制后僚机采集图像数据生成的图像特征点及数据参数敏感值；

步骤6.3：长机将僚机采集的数据进行数据拟合，并构建介入人为控制的专用数据集；

步骤6.4：长机在数据案例中判断本次人为控制的案例是否存在，当判断为存在时，转入步骤6.5，当判断为不存在时，长机将本次案例进行备份后转入步骤6.2；

步骤6.5：长机计算本次协同操控行为指数的损益值，并通过损益值判断任务是否需要更新，当判断为需要更新时，重复步骤6.5，但判断为不需要更新时结束本次协同控制。