[发明专利]基于视觉与惯性导航信息融合神经网络的无人机高度估算方法

权利要求书

1.基于视觉与惯性导航信息融合神经网络的无人机高度估算方法，其特征在于，包括以下操作：

(1)利用通道注意力机制和空间注意力机制的卷积神经网络对输入图像中的信息进行特征提取与编码，得到特征向量a_v；

基于无人机实时拍摄的图像数据I_N、无人机的俯仰角、无人机相对跑道朝向夹角、滚转角以及图像平面中获取的跑道两侧边线与跑道底边边线的夹角λ和β来建立理想的飞行高度估算模型和误差函数，将理想高度估计模型与误差函数分别送入单层LSTM网络进行特征编码，对编码后的向量进行逐位相加获得特征向量a_f，将所述特征向量a_f与图像特征编码后的特征向量a_v进行特征连接操作，之后输入到特征融合模块；

(2)将所述特征向量a_f与图像特征编码后的特征向量a_v进行特征连接操作，之后输入到基于自注意力机制的特征融合模块中；

两个特征向量连接后的特征向量为：

g_dir(a_v，a_f)＝[a_v；a_f]

将连接后的特征向量输入到基于自注意力机制的特征融合模块中，基于自注意力机制的特征融合模块将a_v和a_f分别映射为向量Q_v，K_v，V_v以及向量Q_f，K_f，V_f，根据下式将两组向量交叉运算，从而计算出特征向量a_v和a_f之间的相关度m_v以及m_f，将两个相关度分别与a_v和a_f做逐点乘操作，从而获得特征融合后的特征向量；

其中，是经验值；

(3)将融合后的特征向量输入到双向长时记忆网络来提取时序特征，双向长时记忆网络对融合后的特征向量进行正向和反向的时序特征提取，最终通过对输出的回归实现无人机飞行高度的估算。

2.根据权利要求1所述的基于视觉与惯性导航信息融合神经网络的无人机高度估算方法，其特征在于，步骤(1)中图像中的信息进行特征提取与编码，具体为：

(101)将图像输入ResNet卷积模块中，ResNet卷积模块提取出特征图；

(102)将所述特征图输入通道注意力子模块，分别经过基于W和H的全局最大池化和全局平均池化，两个池化结果分别经过共享参数的多层感知机，将多层感知机输出的特征进行基于逐像素的加和操作，再经过sigmoid进行激活操作，生成最终的通道注意力特征图；将通道注意力特征图与ResNet卷积模块提取的特征图进行逐元素乘法操作，通道注意力子模块输出特征图；

(103)将通道注意力子模块输出的特征图输入到空间注意力子模块，做一个基于通道的全局最大池化和全局平均池化，之后将这2个池化结果基于通道做特征连接操作；然后经过一个卷积操作，降维成单个通道，再经过sigmoid激活操作，生成空间注意力特征；

(104)最后将空间注意力特征和空间注意力子模块的输入特征做逐元素乘法，完成图像中信息的特征提取；

(105)将特征结果输入全连接层，对图像特征进行编码。