[发明专利]一种基于双目相机的四旋翼无人机视觉目标跟踪方法

摘要

本发明公开了一种基于双目相机的四旋翼无人机视觉目标跟踪方法，通过目标识别算法检测出跟踪目标，再使用基于相关滤波的视觉追踪算法，完成对目标在像素意义上的位置追踪与尺度追踪，并根据追踪效果判断是否跟踪丢失需要启动重定位程序，或需要对长期跟踪器进行更新；然后，根据跟踪框选定的图像区域，使用LK光流法进行四旋翼无人机与追踪目标相对距离的计算，经过坐标转换后使用卡尔曼滤波器实现对追踪目标的全局状态估计；最后根据估计的目标全局位置、速度状态，设计无人机外环控制系统的状态量，实现无人机对追踪目标无延时的稳定跟踪。

主权项

1.一种基于双目相机的四旋翼无人机视觉目标跟踪方法，其特征在于，包括以下步骤：(1)、选取跟踪目标地面站计算机将左相机传回的图像进行实时显示，再通过地面站计算机上运行的目标检测算法在当前帧图像中检测并框出跟踪目标，显示出目标类别，然后用鼠标单击检测到的跟踪目标框区域，框选出跟踪目标；如果目标检测算法未检测出跟踪目标，则通过手动画出跟踪目标框，然后再用鼠标单击跟踪目标框选出跟踪目标；(2)、训练滤波器并更新(2.1)、在跟踪目标框以及周围区域，提取包含31维FHOG特征与1维的灰度特征，整个提取区域的大小的长宽为跟踪目标框长宽的p倍，整个提取区域记为S；(2.2)、分别利用提取区域S训练位置追踪滤波器和外观滤波器；(2.3)、在下一帧图像到来时，利用上一帧训练好的位置追踪滤波器寻找相关性响应最大的位置，记为P；然后以P为中心，利用尺度滤波器对目标框区域进行缩放，得到新一帧图像上的跟踪跟踪目标框；(2.4)、在新一帧图像上计算平均峰值相关能量APCE值，然后比较APCE与预设的跟踪丢失阈值的大小，如果APCE值低于跟踪丢失阈值时，则判断为跟踪丢失，进入步骤(2.5)，否则，跳转至步骤(2.6)；(2.5)、将四旋翼无人机切换到定点悬停模式，再使用SVM算法对跟踪目标进行重定位，直到重新确定跟踪目标，然后返回步骤(2.3)；(2.6)、对位置追踪滤波器和尺度滤波器进行更新；同时判断APCE值是否大于外观滤波器的更新阈值，如果大于，则对外观滤波器进行更新，否则不更新外观滤波器；待三个滤波器处理完成后进入步骤(3)；(3)、估计跟踪目标状态(3.1)、提取跟踪目标框内的ORB特征点，并记录下这些特征点的位置；再使用带金字塔的LK光流法，寻找同一时刻右相机图像中对应的点，并计算每个点对应的视差值；(3.2)、按照视差值对右相机图像中对应的点进行升序排序，再剔除视差大小处于前1/3与后1/3的点，将处于中间13的点的视差值取平均，作为视差结果；(3.3)、通过双目测距原理和三角化方法，利用视差结果计算出跟踪目标的深度d以及跟踪目标在相机坐标系下的位置坐标值(x_c,y_c,z_c)；(3.4)、将GPS数据、IMU数据和超声波数据通过四旋翼无人机自带的位姿估计程序处理，得到四旋翼无人机在地理坐标系下的位置(X_ch,Y_ch,Z_ch)和姿态(3.5)、将d、x_c,y_c,z_c、(X_ch,Y_ch,Z_ch)和输入至卡尔曼滤波算法，估计出跟踪目标在地理坐标系下的实际位置(x,y,z)和实际速度(4)、控制四旋翼无人机对跟踪目标进行平行跟随飞行(4.1)、根据实际位置(x,y,z)计算四旋翼无人机的实际位置与期望位置的差值，再将该差值作为外环全局位置PID控制器的输入，同时将实际速度作作为PID的控制量，那么，全局位置PID控制器的输出为：其中，C_x,C_y,C_z分别为在x,y,z方向上外环全局位置PID控制器的输出，d_xexp,d_yexp, d_zexp分别表示四旋翼无人机与跟踪目标在x,y,z方向上的期望距离，p_x,p_y,p_z分别表示在x,y,z方向上外环全局位置PID控制器的比例参数；(4.2)、保持跟踪目标处在图像中心，将跟踪目标在图像中的中心位置的像素坐标与图像实际的中心位置的像素坐标的差值作为yaw角PID控制器的输入，同时对输出C_yaw＝p_yaw·(u_x‑u_c)进行限幅，p_yaw表示yaw角PID控制器的比例参数，u_x表示跟踪目标框中心像素点的横向像素坐标值，u_c表示图像实际中心像素点的横向像素坐标；(4.3)、根据外环全局位置PID控制器的输出(C_x,C_y,C_z)，计算出四旋翼无人机期望全局速度根据YAW角控制器的输出C_yaw，计算出期望的YAW角速度将期望全局速度和期望YAW角速度与实际的全局速度和实际YAW角速度的差值作为内环速度PID控制器的输入，通过内环速度PID调节后传递给姿态控制器，姿态控制器控制电机的转速，完成四旋翼无人机视觉目标跟踪。