[发明专利]一种无人机影像数据实时处理方法及系统

说明书

本发明公开了一种无人机影像数据实时处理方法及系统，该方法通过对连续影像数据的联合特征信息进行匹配，采用FREAK和SIFT特征组合使用的特征提取和匹配过程，响应了对无人机影像数据实时性的要求。然后在无POS信息辅助的情况下，利用特征匹配结果，基于SFM对连续影像数据的姿态数据估计，对无人机的多个航段的飞行航迹恢复，并标记每个航段内的帧图像数据。最后依据标记有航段标记的帧图像数据，利用特征匹配结果进行图像拼接，生成对应拼接图。通过上述方法，实现解决遥测数据无法获取或时空匹配较差，即无POS系统辅助的情况下，实时对无人机的影像数据进行处理的目的。

技术领域

本发明涉及无人机技术领域，更具体地说，涉及一种无人机影像数据实时处理方法及系统。

背景技术

针对当前我国目前无人机行业的应用日益扩展和深入发展，无人机作为一种遥感应用的延伸平台，在各行各业中均扮演着越来越重要的作用。从当前的无人机集成使用方式进行分析，无人机的研发和无人机载荷的研发是各自分开的且两者之间具有相当强的独立性。由此，造成了无人机本身和无人机有效载荷彼此之间在除了机械结构上的其他方面耦合性的降低，尤其是某些飞机遥测信息的不开放性和有效载荷数据的信息时空非同步性。

目前无人机挂载的载荷主要集成的是光学成像传感器，其数据类型主要包括连续的航拍相片和视频数据。由于，无人机载荷数据的处理与无人机载荷类型相关，在无人机实际应用过程中，针对连续的航拍相片，其数据处理的方式为：匹配必要的飞机POS(Positionand Orientation System，低精度稳定平台和高精度姿态测量系统，由惯性测量装置IMU和全球定位系统GPS组合而成)信息或者在精度和可靠性要求较高的情况下保证飞机遥测信息和载荷数据的时空同步性以及使用模式的一致性，实时执行对单幅影像数据处理和信息提取；针对连续的视频数据，其数据处理的方式为：在后处理模式下，可以对图像和遥测进行分别保存，后期匹配后进行拼接即可，此时只需要保证空间同步性，降低了对POS系统的要求。

当前的无人机在需要大范围航拍的领域，若采用上述针对大范围飞行后获取的航拍数据，以后处理的模式对航拍数据进行批量处理的方式，在一定程度上满足不了数据处理结果及时性的要求；若依赖于要求遥测信息和载荷数据时空同步性下实时对连续的航拍相片的处理，则对于数据链路和无人机载荷集成而言需要满足较高的专业性要求，这与当前发展越来越迅速的无人机，尤其是无法开放遥测数据接口的多旋翼无人机的应用冲突。

因此，如何解决在遥测数据无法获取或者时空匹配性较差，即无POS系统要求的情况下，实时对无人机的影像数据进行处理成为目前亟待解决的问题。

发明内容

本发明的目的是提供一种无人机影像数据实时处理方法及系统，以解决在遥测数据无法获取或者时空匹配性较差的情况下，实时对无人机的影像数据进行处理的问题。

为实现上述目的，本发明提供了如下技术方案：

一种无人机影像数据实时处理方法，包括：

获取连续影像数据，提取所述连续影像数据的联合特征信息，将所述联合特征信息与阈值进行匹配，获取成功匹配的特征匹配结果，其中，所述联合特征信息中包括，FREAK特征和SIFT特征；

判断是否有POS信息辅助，若无POS信息辅助，则利用所述特征匹配结果，基于运动估计结构SFM对所述连续影像数据的姿态数据估计，并获取多帧估计姿态数据；

基于所述多帧估计姿态数据对所述连续影像数据中的每一帧图像数据所属航段进行分析，当从某一帧图像数据开始，连续预设帧数的帧图像数据对应的帧估计姿态数据处于平移变化中，确定从所述某一帧图像数据开始新航段，并进行航段标记；

对后续的帧图像数据基于所述SFM进行所属航段进行分析，将属于所述新航段的帧图像进行航段标记；

依据标记有航段标记的帧图像数据，利用所述特征匹配结果进行图像拼接，生成对应的拼接图。