[发明专利]一种基于双目的手势识别智能无人机远程操控方法

说明书

本发明涉及一种基于双目的手势识别智能无人机远程操控方法，包括以下步骤：操作前采集不同手势的多帧图像，根据HSV信息提取手部区域和手部特征信息，计算不同手势的手部特征信息的均值和方差；操作中利用双目相机采集当前手势图像，采用多特征分层滤波算法处理并识别当前手势图像；采用HSV信息、高斯滤波、连续自适应均值漂移Camshift算法，对当前手势图像的深度图像、彩色图像进行处理，获取最终跟踪ROI区域的三维坐标；实时将手势实际弯折曲线规划成无人机实际运动轨迹。本发明通过将手势识别的结果转化为无人机控制信号发送给无人机实现飞行轨迹的在线控制，人机协同作业实时性、准确性和可靠性高。

技术领域

本发明属于模式识别与自动化技术领域，具体涉及一种基于双目的手势识别智能无人机远程操控方法。

背景技术

随着无人机应用领域的拓展，无人机逐渐融入人类生产、生活，与人类关系日益紧密，因此迫切需要无人机与人紧密协调。同无人机之间的良好的人机交互是“人机共融”和“人机协作”的重要基础。手势是人与人之间非语言交流的最重要方式，若把手势交互运用到无人机飞行控制上，可使无人机与人更方便自然地交互。二者紧密协调，有利于人机共融的实现。手势识别是人与机器人手势交互的重要组成部分，手势识别的准确性和快速性直接影响人与机器人交互的准确性、流畅性和自然性。按手势识别使用的设备是否与身体接触，手势识别技术可分为两类：接触式手势识别和基于视觉的手势识别。接触式手势识别具有识别准确、精度较高和稳定性好的优点，但使用的设备复杂、价格高，且用户需熟练使用穿戴的特定设备后，才能进行手势识别，不利于自然交互。基于视觉的手势交互，用户无需穿戴设备，具有交互方便、表达丰富和交互自然的优点，符合人机自然交互的大趋势，适用范围广。当前无人机控制的主要方式还是基于遥控器的控制，或者是在短距离内识别和跟踪简单的特定手势，但长程仍然要依靠遥控器，这种基于遥控器的控制方式对用户而言并非是一种符合人类本能习惯的交互方式，新用户需要不断地练习才能掌握控制技巧，但如果发明一种符合人类自然交互习惯的、通过手势对无人机进行操控的技术，则这将是迈向更自然的人机交互的一大步。并且，这种可靠性高、实时性好的无人机手势识别与跟踪技术还可以很方便地扩展应用到更多的人机协作领域中，应用前景广泛。

发明内容

针对现有技术中的上述不足，本发明所采用的技术方案是：一种基于双目的手势识别智能无人机远程操控方法，包括以下步骤：

步骤1：操作前，采集不同手势的多帧图像，对同一个手势的多帧图像根据HSV信息提取手部区域和手部特征信息，计算不同手势的手部特征信息的均值和方差并存储在个人特征库；

步骤2：操作中，利用双目相机采集当前手势图像，采用多特征分层滤波算法与个人特征库中的手部特征信息相比对识别当前手势图像；

步骤3：采用HSV信息、高斯滤波、连续自适应均值漂移Camshift算法，对双目相机采集当前手势图像的深度图像、彩色图像进行处理，获取最终跟踪ROI区域的三维坐标；

步骤4：根据弯折的方向和曲率，实时将手势实际弯折曲线规划成用以实际指导无人机飞行的轨迹曲线。

所述步骤1中对同一个手势的多帧图像根据HSV信息提取手部区域和手部特征信息包括：对同一个手势的多帧图像依次进行以下处理；

步骤1.1：分别获取多帧图像的HSV信息，

步骤1.2：计算HSV信息的均值和方差，

步骤1.3：根据HSV信息的均值和方差获取ROI区域的HSV空间，并将ROI区域的HSV空间存储在个人特征库；

步骤1.4：根据ROI区域的HSV空间提取每帧图像的手部区域；

步骤1.5：获取每帧图像的手部区域的二值图像，

步骤1.6：分别计算每帧图像的二值图像的手部特征信息、并计算手部特征信息的均值和方差；