[发明专利]一种基于双源视频分析的智能化野外无人机搜救方法与系统

说明书

技术领域

本发明属于图像处理与无人机技术领域，特别涉及无人机野外搜救关键技术，包括目标检测、自主避障以及自主定点降落。

背景技术

随着国民生活水平的提高，人们出行游玩的形式愈加多样化。随之而来的是野外救援需求的提升。野外搜救难度极大，通常来说，野外迷失人员精神和生理压力骤升，体能消耗加速，尤其是遭遇自然灾害(地震，山洪暴发、山体滑坡等)后，人体可能已经遭受损伤，因此野外搜救就是在和时间赛跑，分秒必争。但是阻碍救援因素却是不少。恶劣的天气，通讯故障，交通不便等都是致命因素。搜救行动往往牵动大量人力物力。由于传统的救援方式是地面搜索，在某些特殊环境，比如山林或者山谷，救援人员以及设备运输就会受阻，导致搜救效率就十分低下。

如果拥有一个“上帝视野”，一切都会简便很多。幸运的是，随着近几年无人机(Unmanned Ariel Vehicles,UAV))的快速发展，这已经成为可能。无人机搭载图像采集设备以及各种传感器，可以将空中的俯瞰视野实时传回地面。此外，UAV敏捷，快速，可以表现出一定的自主行为，并且可以以低操作成本执行难以由人类操作者执行的动作。这些特点使得无人机更适合应用到空中监控领域中。目前国内在灾后搜救中所用无人机大多仅图像采集的任务，无人机自主性没有得到发挥，应用场景也比较有限。现在，随着无人机制造技术的提高，微小型无人机的续航和荷载都有明显提升，如何充分利用无人机资源，发挥无人机的优越性，值得认真考虑。例如，荷载和续航的提升可以让无人机搭载更多的传感器设备甚至是计算设备而不仅仅局限于图像采集设备(一般为光学相机)，这就为无人机功能的扩展提供了极大的可能性。

发明内容

基于上述背景，本发明主要关注了野外搜救无人机设计中的一些关键技术，并通过多传感器数据融合实现无人机的一些自主行为(如自主避障，自动返航等)，同时，利用机载计算设备，结合计算机视觉中的目标检测识别技术，进行待救援人员的检测与定位。通过模块化的设计，本发明旨在充分利用无人机平台资源，大大降低操作人员误操作可能性，大幅度减少野外搜救耗时，为关键的生命救援争取时间。为达到上述目的，本发明采取了以下技术方案：

一种基于双源视频分析的智能化野外无人机搜救方法，其中，所述方法包括以下步骤：

A.依靠配套的安卓移动应用App进行必要的任务规划并反馈重要信息；

B.使用红外热成像仪获取红外图像，并获取感兴趣区域(Region of Interest,ROI)以及目标候选。

C.使用光学图像进行目标(待救援人员)检测与定位。

D.基于AprilTag检测的视觉辅助自动定点降落。

一种基于双源视频分析的智能化野外无人机搜救方法，其中，所述的步骤A依靠地面端的移动设备上运行的应用App实现。具体地，其包含以下步骤：

A1.设定初始搜索点GPS坐标，按下“开始任务”虚拟按键则无人机自动起飞并飞至该GPS坐标位置，然后进行“之”字形扫描搜寻。

A2.移动设备界面实时显示无人机机载光学相机视角视野以及飞行器当前飞行高度、速度、电池电量。

A3.高亮显示感兴趣目标区域并发出“请注意”提示语。

A4.充当Socket通信中的客户端，向服务器端发送感兴趣目标区域顶点坐标以及可疑目标所处GPS坐标。

一种基于双源视频分析的智能化野外无人机搜救方法，其中，所述步骤B的实现具体包括：

B1.读取热像仪当前帧图像并将其转为灰度图像；

B2将B1所得图像进行高斯平滑，并将灰度范围规范化为0～255；

B3对B2所得图像进行顶帽运算(Top Hat)；

B4对B3所得图像进行自适应阈值二值化，并根据连通域大小确定候选目标包围框。所有候选目标包围框的最小内接矩形区域即为感兴趣目标区域ROI。

一种基于双源视频分析的智能化野外无人机搜救方法，其中，所述步骤C的实现具体包括：:

C1.根据坐标系之间的转换关系得到红外图像感兴趣区域ROI对应的光学图像感兴趣区域ROI。

C2.将C1所得ROI区域输入到由SSD和ResNet组合的改进型深度卷积神经网络模型，得到目标检测的结果，并给出类别标签和包围矩形框。

一种基于双源视频分析的智能化野外无人机搜救方法，其中，所述的步骤E具体包括：

D1.无人机返航飞行到降落标志AprilTag大致上方位置；