[发明专利]一种基于双目的手势识别智能无人机远程操控方法

权利要求书

1.一种基于双目的手势识别智能无人机远程操控方法，其特征在于，包括以下步骤：

步骤1：操作前，采集不同手势的多帧图像，对同一个手势的多帧图像根据HSV信息提取手部区域和手部特征信息，分别计算不同手势的手部特征信息的均值和方差并存储在个人特征库；

步骤2：操作中，利用双目相机采集当前手势图像，采用多特征分层滤波算法与个人特征库中的手部特征信息相比对识别当前手势图像；

步骤3：采用HSV信息、高斯滤波、连续自适应均值漂移Camshift算法，对双目相机采集当前手势图像的深度图像、彩色图像进行处理，获取最终跟踪ROI区域的三维坐标；

步骤4：根据弯折的方向和曲率，实时将手势实际弯折曲线规划成用以实际指导无人机飞行的轨迹曲线，包括：

定义Q_t点和Q′_t点分别为同一时刻手势实际弯折曲线与用以实际指导无人机飞行的轨迹曲线上的点；Q_t(x_t,y_t,z_t)点坐标为步骤3的最终跟踪ROI区域的三维坐标，Q_t′(x_t′,y_t′,z_t′)点的坐标按照如下步骤计算：

步骤4.1：在刚开始的t＝0与t＝1时刻，Q_t点和Q′_t点是重合的；

步骤4.2：t＝2时刻的预测点Q′_t＝2三维坐标是依据t＝0到t＝1时间轨迹线段的方向与角度延伸得到；将Q′_t＝2三维坐标代入磁性轨迹约束算法的公式(11)、(12)、(13)求得：预测点Q′_t＝2到实际点Q_t＝2的单位向量模d(2)、曲率K(2)＝μd(2)；

步骤4.3：从t＝3时刻开始，无人机(t-1)到t时间段内实际引导轨迹的曲率为根据(t-1)时刻通过公式(11)计算出的曲率K(t-1)，弯曲方向为朝向的方向；

以Q_t为圆心，与从t-1时刻开始延伸的预测轨迹曲线弧的最大相切圆的切点，即为t时刻预测轨迹Q′_t点，从而得出Q′_t的实际三维坐标；按照上述步骤依次运算，得到用以实际指导无人机飞行的轨迹曲线；

其中，所述磁性轨迹约束算法为按照如下公式计算d(t)、和K(t)：

其中，为Qt'朝向Qt的单位向量，用以表示在t时刻三维空间中的无人机实际运动轨迹向手势实际弯折曲线的方向，d(t)为Q_t点和Q′_t点的模，K(t)为t时刻弯折的曲率，μ是根据不同的无人机安全飞行姿态区间而确定的固定参数，K_max是无人机机动飞行轨迹的最大安全弧度。

2.按照权利要求1所述的一种基于双目的手势识别智能无人机远程操控方法，其特征在于，所述步骤1中对同一个手势的多帧图像根据HSV信息提取手部区域和手部特征信息包括：对同一个手势的多帧图像依次进行以下处理；

步骤1.1：分别获取多帧图像的HSV信息，

步骤1.2：计算HSV信息的均值和方差，

步骤1.3：根据HSV信息的均值和方差获取ROI区域的HSV空间，并将ROI区域的HSV空间存储在个人特征库；

步骤1.4：根据ROI区域的HSV空间提取每帧图像的手部区域；

步骤1.5：获取每帧图像的手部区域的二值图像，

步骤1.6：分别计算每帧图像的二值图像的手部特征信息、并计算手部特征信息的均值和方差；

步骤1.7：将手部特征信息的均值和方差存储在个人特征库。

3.按照权利要求1或2所述的一种基于双目的手势识别智能无人机远程操控方法，其特征在于，所述手部特征信息为手部形状、手部旋转角度、手部凸包性。