[发明专利]一种基于手势识别的无人机智能控制方法

权利要求书

1.一种基于手势识别的无人机智能控制方法，其特征在于，包括以下步骤：

步骤1：制作和标注行人学习样本集和人体手势各种属性学习样本集；

步骤2：构建深度行人检测神经网络，使用行人学习样本集的数据对神经网络进行训练，得到行人检测网络模型；

步骤3：构建深度手势检测神经网络，使用手势学习样本集的数据对神经网络进行训练，得到手势检测网络模型；

步骤4：使用训练好的行人检测网络模型对从无人机机载摄像头获取的图像并进行做行人检测，使用置信阈值(0.3)对行人检测结果进行筛选，如果行人的数量大于0则进行下一步，否则跳过当前帧；

步骤5：对检测到的所有行人进行面积比较，选取面积最大的行人作为无人机控制者，然后在控制者位置做区域拓展和裁剪；

步骤6：使用训练好的手势检测网络模型对步骤5结果进行手势属性检测；

步骤7：使用置信阈值(0.3)对手势属性检测结果进行筛选，然后选取置信度最大的作为最终检测结果；

步骤8：将步骤7的检测结果进行时域统计，选择出现次数最多的手势作为最终结果，并发送到无人机飞控端指导无人机做相应的动作。

2.根据权利要求1所述的一种基于手势识别的无人机智能控制方法，其特征在于，所述的步骤1中以无人机采集的图片作为原始图片，在原始图片中进行制作和标注行人属性学习样本集：用于训练行人检测网络模型；在原始图片中对制作手势的目标行人进行区域拓展和裁剪，将裁剪后的图片制作和标注人体手势属性学习样本集：用于训练手势检测网络模型。

3.根据权利要求1所述的一种基于手势识别的无人机智能控制方法，其特征在于，所述的步骤2构建深度行人检测网络并对网络进行训练，可选网络有：YOLO，Faster-RCNN，RetinaNet与SSD，其中行人检测网络的基础网络采用的是MobileNetV2,在检测方面采用的是SSDLite网络，将SSD的检测头部中的卷积运算替换为深度可分离卷积，在模型部署时，将行人检测模型移植到基于ARM结构的平台，对行人训练样本集做多尺度裁剪，水平翻转和增加若干噪声等操作。

4.根据权利要求1所述的一种基于手势识别的无人机智能控制方法，其特征在于，所述的步骤3构建深度手势检测网络并对网络进行训练，可选网络有：YOLO，Faster-RCNN，RetinaNet与SSD，其中手势检测网络的基础网络采用的是InceptionV2,在模型部署时，将手势检测模型移植到基于ARM结构的平台上，对手势学习样本集做多尺度裁剪和增加若干噪声等操作。

5.根据权利要求1所述的一种基于手势识别的无人机智能控制方法，其特征在于，所述的步骤4采用行人检测网络模型对无人机机载摄像头采集到的图像进行行人检测，步骤如下：

4.1)行人检测网络对测试图像做检测，对检测结果进行置信度筛选，大于一定阈值(0.3)的作为行人；

4.2)对行人检测的结果筛选后，如果行人的数量大于0则进行步骤5的操作，否则跳过当前帧进行下一帧的检测。

6.根据权利要求1所述的一种基于手势识别的无人机智能控制方法，其特征在于，所述的步骤5对行人检测的结果做区域面积比较筛选出目标行人(即无人机控制者)，步骤如下：

5.1)对检测的每一个行人做面积大小对比，选择行人区域面积最大的作为目标行人(即无人机控制者)；

5.2)对得到的目标行人进行做区域拓展，向左拓展目标行人高度的三分之一，向右拓展目标行人高度的四分之一，向上拓展目标行人高度的三分之一，区域拓展的目的是保证控制者的手在手势识别范围内，然后对拓展后的区域进行裁剪再进行手势检测。