[发明专利]一种基于手势识别的无人机智能控制方法

说明书

本发明公开一种基于手势识别的无人机智能控制方法，包括以下步骤：制作行人和人体手势图片样本集及标注行人和手势各种属性学习样本集；构建并训练深度行人和手势检测神经网络，将训练好的网络模型保存；使用行人检测模型对获取的图像并进行做行人检测；对检测到的所有行人进行面积比较，选取面积最大的作为无人机控制者，对控制者位置做区域拓展；使用手势检测模型对选定的区域做手势属性检测；对多帧手势检测结果做时域选择，将最终选择结果发送给无人机。本发明通过对人的手势进行识别分析，并将手势结果作为无人机飞行的指令发送给无人机飞控端，实现人对无人机的灵活控制。

技术领域

本发明涉及计算机数字图像处理与模式识别技术领域，特别涉及一种基于手势识别的无人机智能控制方法。

背景技术

无人驾驶飞机简称“无人机”(“UAV”)，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞行器。它具有体积小、造价低、使用方便等优点。目前在航拍、农业、植保、微型自拍、快递运输、灾难救援、观察野生动物、监控传染病、测绘、新闻报道、电力巡检、救灾、影视拍摄、制造浪漫等等领域的应用，大大的拓展了无人机本身的用途，发达国家也在积极扩展行业应用与发展无人机技术。

无人机的发展意义重大，而且无人机已经进入人类的生活中，人类与无人机良好的交互和协作已经成为一种发展趋势。公开号为CN104898524B的专利公开了一种基于手势的无人机遥控系统，通过在操作人员身上佩戴固定设备来探测人手或人手上的设备的实时运动轨迹，并将人手或人手上的设备的实时运动轨迹进行处理后作为对无人机运动的遥控指令发送给无人机；此方案通过手势的轨迹来获取手势动作，对使用者来说仍缺乏一定的灵活性；另外需要操作者佩戴固定设备进行获取手势轨迹动作，仍存在设备复杂和成本高等缺陷。公开号为CN207457837U的专利公开了一种用于控制无人机的智能手套及无人机，包括手套本体、传感器、控制器和无线通信模块；通过内置于手套本体中的传感器来感应手部动作，并生成手势感应信号，产成姿态指令，并转换成无线信号发送至无人机。此专利主要通过复杂的设备来进行控制无人机，对用户来说成本很高，流程复杂。

发明内容

为克服上述现有技术的不足，本发明的目的在于提供一种基于手势识别的无人机智能控制方法，通过采集图像直接识别控制者做出的手势，无人机做出相应的动作，能有效地将人体手势动作与无人机飞控相结合，增加了无人机控制的灵活性，减少了传统无人机控制的复杂性。

为了实现上述目的，本发明采用的技术方案是：

一种基于手势识别的无人机智能控制方法，包括以下步骤：

步骤1：制作和标注行人学习样本集和人体手势各种属性学习样本集；

步骤2：构建深度行人检测神经网络，使用行人学习样本集的数据对神经网络进行训练，得到行人检测网络模型；

步骤3：构建深度手势检测神经网络，使用手势学习样本集的数据对神经网络进行训练，得到手势检测网络模型；

步骤4：使用训练好的行人检测网络模型对从无人机机载摄像头获取的图像进行行人检测，使用置信阈值(0.3)对行人检测结果进行筛选，如果行人的数量大于0则进行下一步，否则跳过当前帧；

步骤5：对检测到的所有行人进行面积比较，选取面积最大的行人作为无人机控制者，然后在控制者位置做区域拓展和裁剪；

步骤6：使用训练好的手势检测网络模型对步骤5结果进行手势属性检测；

步骤7：使用置信阈值(0.3)对手势属性检测结果进行筛选，然后选取置信度最大手势的作为最终检测结果；

步骤8：将步骤7的检测结果进行时域统计，选择出现次数最多的手势作为最终结果，并发送到无人机飞控端指导无人机做相应的动作。