[发明专利]一种基于双源视频分析的智能化野外无人机搜救方法与系统

权利要求书

1.一种基于双源视频分析的智能化野外无人机搜救方法，其特征在于，包括以下步骤：

A.采用配套的安卓移动应用App进行任务规划并反馈信息；

B.使用红外热成像仪获取红外图像，并获取感兴趣区域ROI以及目标候选；

C.使用光学图像进行目标检测与定位；

D.基于AprilTag检测的视觉辅助自动定点降落。

2.根据权利要求1所述的基于双源视频分析的智能化野外无人机搜救方法，其特征在于，所述的步骤A依靠地面端的移动设备上运行的应用App实现；

具体地，其包含以下步骤：

A1.设定初始搜索点GPS坐标，按下“开始任务”虚拟按键则无人机自动起飞并飞至该GPS坐标位置，然后进行“之”字形扫描搜寻；

A2.移动设备界面实时显示无人机机载光学相机视角视野以及飞行器当前飞行高度、速度、电池电量；

A3.高亮显示感兴趣目标区域并发出“请注意”提示语；

A4.充当Socket通信中的客户端，向充当服务器端的地面工作端发送感兴趣目标区域顶点坐标以及可疑目标所处GPS坐标。

3.根据权利要求1所述的基于双源视频分析的智能化野外无人机搜救方法，其特征在于，所述步骤B的实现具体包括：

B1.读取热像仪当前帧图像并将其转为灰度图像；

B2.将B1所得图像进行高斯平滑，并将灰度范围规范化为0～255；

B3.对B2所得图像进行顶帽运算；

B4.对B3所得图像进行自适应阈值二值化，并根据连通域大小确定候选目标包围框；所有候选目标包围框的最小内接矩形区域即为感兴趣目标区域ROI。

4.根据权利要求3所述的基于双源视频分析的智能化野外无人机搜救方法，其特征在于，所述步骤C的实现具体包括：

C1.根据坐标系之间的转换关系得到红外图像感兴趣区域ROI对应的光学图像感兴趣区域ROI；

C2.将C1所得ROI区域输入到由SSD和ResNet组合的改进型深度卷积神经网络模型，得到目标检测的结果，并给出类别标签和包围矩形框。

5.根据权利要求4所述的基于双源视频分析的智能化野外无人机搜救方法，其中，所述的步骤D具体包括：

D1.无人机返航飞行到降落标志AprilTag上方位置；

D2.获取光学相机当前图像，将其灰度化之后，进行高斯平滑滤波；

D3.使用自适应阈值二值化D2所得图像，并利用OpenCV对结果图像进行AprilTag标志轮廓检测；

D4.对D3所得的所有候选轮廓，拟合出四边形，并进行透视变换，将得到的四边形区域变换为原始的正方形；

D5.对D4所得所有正方形区域，逐一进行单元块划分，划分为7X7个单元块，并使用海明编码对中间的5X5个单元块进行编码；

D6.根据D5得到的编码，比对实际使用的AprilTag编码，如果匹配则求解出标志相对于相机的6DOF坐标；

D7.根据D6得到的6DOF坐标精确调整无人机姿态，使之精确降落于标志上面。

6.根据权利要求1所述的基于双源视频分析的智能化野外无人机搜救方法，其特征在于：所述无人机在飞行过程使用激光雷达以及超声波进行自动障碍躲避；具体包括以下步骤：

步骤1.使用激光雷达获取雷达扫描数据LaserScan；

步骤2.提供无人机里程计数据Odometry以及各个参考坐标系之间的转换关系；

步骤3.利用步骤2的数据，使用机器人操作系统中的导航工具包生成速度控制命令，并发送给无人机，实现主动避障：

步骤4.在飞行过程中，始终处理朝下安置的超声波模块反馈的障碍信息，并以此为依据保持无人机与下方障碍的安全距离。

7.一种基于双源视频分析的智能化野外无人机搜救系统，其特征在于：包括多旋翼无人机平台、机载云台相机、机载热成像仪、激光雷达、超声波测量单元、机载计算设备和存储器、地面工作站；所述多旋翼无人机平台包括机载惯性测量单元、GPS模块、机载控制器；所述地面工作站包括移动设备、遥控器和计算机。

8.根据权利要求7所述的基于双源视频分析的智能化野外无人机搜救系统，其特征在于：该系统分为天空端和地面端两部分；天空端包含多旋翼无人机平台、自主避障模块、红外图像处理模块以及自主降落模块；地面端包含带有人机交互模块的移动设备、Socket通信模块、遥控器、以及带有光学目标检测模块的计算机；

所述多旋翼无人机平台主要完成飞行功能，为其它各个模块提供载体；

所述自主避障模块包括激光雷达、超声波测量单元、机载惯性测量单元、GPS模块和机载控制器；机载控制器作为核心控制器，处理激光雷达、超声波的数据，对无人机自身进行定位，并获取无人机周围障碍信息，避开障碍并按照路径规划算法规划的路径进行飞行；

所述红外图像处理模块包括红外热成像仪、视频采集设备以及机载计算设备；机载计算设备通过视频采集卡获取红外热成像仪视频流中的图像帧序列，并运行候选目标检测算法得到候选目标以及感兴趣区域ROI；

所述自主降落模块包括多旋翼无人机平台、云台相机以及机载计算设备；通过获取云台相机视野中的降落标志相对无人机的6DOF坐标信息，无人机将动态调整自己相对于降落平面的姿态，从而实现精准降落。