[发明专利]一种基于视觉的固定翼飞行器飞行趋势判断方法

权利要求书

1.一种基于视觉的固定翼飞行器飞行趋势判断方法，其特征在于，包括如下步骤：

S1、基于深度学习网络进行目标检测和相对姿态判断；

其中，在制作数据集时，采用帧对齐的方式，将每帧图像与欧拉角数据对齐，并将获得的相对欧拉角转换为深度学习网络训练集的标签；

S2、基于先验知识进行目标边缘点提取；

S3、基于已知尺寸进行目标测距，对组内合作单位目标进行持续跟踪，获得各友方无人机的相对距离信息，从而对合作单位的飞行趋势进行判断；

另外，在编队无人机失去通讯的条件下，每架无人机仅通过自身位姿信息和相机捕捉的视觉信息对编队中其他合作单位的相对位姿进行判断；具体地，S3中所述基于先验知识的目标测距通过如下步骤实现：

通过获得到合作单位目标的特征像素尺寸后，根据相机成像原理进行目标无人机的测距：当检测出的相对姿态为左或右侧时，带入公式：

其中，D为测出距离，H为目标无人机机身高，f_y是图像在垂直方向上的像素焦距，b_h为目标无人机身高像素尺寸；

其余姿态公式为：

其中，W为目标无人机主翼翼展，f_x是图像在水平方向上的像素焦距，b_w为目标无人机主翼翼展像素尺寸；

在测出D后，根据姿态不同将目标无人机的在设相机光心在像素坐标系中的坐标为(C_x,C_y)，根据相机成像的原理，得到公式：

其中，(u，v)为目标无人机中心点在像素坐标系中的坐标； (X，Y，Z)^T为目标无人机在相机坐标系中的坐标，从而计算得到无人机相对于相机两个光轴的角度θ₁和θ₂：

θ₁和θ₂即为无人机B相对无人机A的两个角度；

根据θ₁和θ₂以及计算得到的(X，Y，Z)^T，初步实现对无人机的定位，并将其转化到世界坐标系中。

2.如权利要求1所述的基于视觉的固定翼飞行器飞行趋势判断方法，其特征在于，具体地，S1中所述目标检测和相对姿态判断包括如下步骤：

制作数据集：设定观测无人机为无人机A，被测无人机为无人机B，得到相应的旋转矩阵：

求得无人机B在无人机A参考坐标系下的旋转矩阵R：

设旋转矩阵为：

其中，α、β和γ分别对应无人机B在以无人机A为参考坐标系下的滚转角、俯仰角和偏航角；求解无人机B在以无人机A为参考坐标系下的姿态角为：

θ_pitch＝β＝arcsin(-r₁₃)

设定来区分飞行器此刻是正常颠簸还是运动姿态正在发生变化的一个相应的阈值；将数据集中的数据分为左上、上、右上、左、前、右、左下、下和右下9种不同的姿态。

3.如权利要求1所述的基于视觉的固定翼飞行器飞行趋势判断方法，其特征在于，具体地，S2中所述基于先验知识的边缘点提取方法通过如下步骤实现：

通过深度学习网络实现目标检测后，将目标边界框提取出来，并将边界框中目标图像经过二维高斯滤波处理，具体公式如下：

式中，K为处理后的像素值，σ为方差；

在之后使用Canny算子和Sobel差分算子得到图像中梯度的幅值方向，从而得到目标的边缘点，边缘点提取公式如下：

θ＝atan2(G_y,G_x)

式中，G_x和G_y代表Sobel算子提取的差分，θ为梯度方向；

在获取经过高斯滤波锐化后的目标边缘点后进行主成分分析后得到机体轴，根据机体轴的方向提取图像中无人机前翼所占的像素值；当图像中为无人机侧面投影时，获得无人机的机身长度和机身高度。