[发明专利]基于双级联深度网络的无人机多特征点检测方法及装置

说明书

本发明公开了一种基于双级联深度网络的无人机多特征点检测方法及装置。所述方法包括：在采集的每一无人机图像中对无人机的多个特征区域进行类别及边界框标注，得到对应的训练图像；将每一所述训练图像输入预先构建的边界框定位网络进行训练，使所述边界框定位网络输出多个特征区域预测框；根据每一所述特征区域预测框提取对应的感兴趣区域，将所有所述感兴趣区域输入预先构建的特征点回归网络进行训练；通过由训练后的所述边界框定位网络和所述特征点回归网络组成的双级联深度网络对待检测图像进行多特征点检测，得到多个特征点坐标。本发明能够实时稳定且准确地检测无人机的多个特征点。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于双级联深度网络的无人机多特征点检测方法及装置。

背景技术

在无人机自主着陆过程中，无人机的姿态是重要的控制指标。现有的无人机姿态估计技术主要依靠惯性测量元件和视觉合作标志定位等手段。基于惯性测量元件的导航系统虽在其应用领域内具有明显优势，但其只能安装在无人机载体上才可使用，使得在通信链路被干扰的情况下地面人员无法获得准确的无人机姿态信息。而基于合作标志的姿态解算方法需要事先布置，对环境光照也有一定要求，且仍依赖于无人机和地面站之间的主动通信。

为促进无人机姿态估计的发展，目前主要研究如何在地面基于视觉直接获取无人机姿态信息，其中所要面对的一大挑战便是无人机多特征点检测。传统的无人机多特征点检测方法一般通过提取形状、颜色、边缘等底层特征，分别建立形状模型，纹理模型来提取特征点，在检测速度和鲁棒性方面都难以满足应用需求。

发明内容

为了克服现有技术的缺陷，本发明提供一种基于双级联深度网络的无人机多特征点检测方法及装置，能够实时稳定且准确地检测无人机的多个特征点。

为了解决上述技术问题，第一方面，本发明一实施例提供一种基于双级联深度网络的无人机多特征点检测方法，包括：

在采集的每一无人机图像中对无人机的多个特征区域进行类别及边界框标注，得到对应的训练图像；

将每一所述训练图像输入预先构建的边界框定位网络进行训练，使所述边界框定位网络输出多个特征区域预测框；

根据每一所述特征区域预测框提取对应的感兴趣区域，将所有所述感兴趣区域输入预先构建的特征点回归网络进行训练；

通过由训练后的所述边界框定位网络和所述特征点回归网络组成的双级联深度网络对待检测图像进行多特征点检测，得到多个特征点坐标。

进一步地，所述在采集的每一无人机图像中对无人机的多个特征区域进行类别及边界框标注，得到对应的训练图像，具体为：

采集所述无人机图像，并通过边界框标注工具在每一所述无人机图像中对无人机的多个特征区域进行类别及边界框标注，得到对应的所述训练图像；其中，所述特征区域包括无人机机体、左机翼、右机翼、左尾翼、右尾翼、中脚架区域。

进一步地，所述将每一所述训练图像输入预先构建的边界框定位网络进行训练，使所述边界框定位网络输出多个特征区域预测框，具体为：

构建所述边界框定位网络，将一所述训练图像输入所述边界框定位网络进行训练，使所述边界框定位网络输出多个所述特征区域预测框；其中，所述特征区域预测框包括无人机机体、左机翼、右机翼、左尾翼、右尾翼、中脚架区域预测框；

根据所述边界框定位网络的网络损失反向更新所述边界框定位网络的网络参数，并在所述边界框定位网络的网络损失小于第一预设阈值时结束训练所述边界框定位网络，否则继续将下一所述训练图像输入所述边界框定位网络进行训练。

进一步地，所述根据每一所述特征区域预测框提取对应的感兴趣区域，具体为：

基于所述特征区域预测框的中心点提取预设尺寸的图像区域，将所述图像区域作为对应的所述感兴趣区域。