[发明专利]少样本条件下基于三维特效仿真的火箭残骸高空检测方法

说明书

本发明涉及少样本条件下基于三维特效仿真的火箭残骸高空检测方法，如下步骤：S1、基于三维特效仿真进行数据增强，具体方法是基于开源的虚幻引擎Unreal Engine(UE)建立一套火箭残骸三维场景模拟图像生成系统；S2、构成火箭残骸目标检测数据集，对所述残骸图片进行标注，所有图片和标注文件构成了火箭残骸目标检测数据集；S3、生成残骸检测模型，对所述火箭残骸目标检测数据集选用最新的One‑Stage端到端目标检测算法YOLOv5进行训练，生成残骸检测模型；S4、压缩裁剪残骸检测模型，植入到资源受限的无人机载嵌入式AI自主识别芯片上。本发明的方法极大丰富了火箭残骸目标检测数据集，将无人机和深度学习技术结合,实现了火箭残骸快速精准定位。

技术领域

本发明属于人工智能领域，具体涉及少样本条件下基于三维特效仿真的火箭残骸高空检测方法及装置。

背景技术

残骸目标检测是火箭残骸回收任务中的关键技术之一，无人机在高空飞行过程中实时检测出地面上的火箭残骸后可进行精准回收，快捷高效、无需人力大规模地面搜寻。数据增强是目标检测领域内的一个重要研究方向，因为现阶段先进的目标检测模型如Faster-RCNN、YOLO系列、SSD等都基于深度学习和卷积神经网络实现，其检测精度和效果非常依赖大规模的训练集，所以当训练数据不足时需要使用数据增强的方法扩大数据规模。常规的数据增强方法是对原始图片进行多种仿射变换或简单的图像处理，包括几何、光照变换、添加噪声扰动等，每种变换都能得到一张新图片，以此增加训练集的规模。

在火箭残骸目标检测领域，火箭残骸图片极难获取，目前没有相关研究机构针对其构建专门的视觉知识库，少量实际拍摄的图片多为近距离地面拍摄视角，难以应用于高空视角模型的训练。常规的数据增强方法产生的数据量有限，训练样本库的丰富度/代表度仍旧不足，目标检测模型对火箭残骸的识别效果依然欠佳，所以需要一种更有效的数据增强方法扩大火箭残骸数据集的规模，提升残骸目标检测模型的效果。

发明内容

针对上述背景中火箭残骸数据集样本少，残骸目标检测效果差的问题，本发明提出一种少样本条件下基于三维特效仿真的火箭残骸高空检测方法和装置。

为实现上述目的，本发明技术方案如下：

少样本条件下基于三维特效仿真的火箭残骸高空检测方法，包括如下步骤：

S1、基于三维特效仿真进行数据增强，具体方法是基于开源的虚幻引擎UnrealEngine(UE)建立一套火箭残骸三维场景模拟图像生成系统，该系统使用“全三维合成”和“三维模型+实景合成”两种方式生成不同背景、不同高空视角下的火箭残骸图片；UnrealEngine是一款流行的游戏开发引擎，在其上进行二次开发可以制作出逼真的三维场景；

S2、构成火箭残骸目标检测数据集，对所述残骸图片进行标注，用标注工具LabelImage在每帧图片上标注火箭残骸的区域及类别，每帧图片都有一个对应的标注文件，所有图片和标注文件构成了火箭残骸目标检测数据集；

S3、生成残骸检测模型，对所述火箭残骸目标检测数据集选用最新的One-Stage端到端目标检测算法YOLOv5进行训练，生成残骸检测模型；

S4、压缩裁剪残骸检测模型，对所述残骸检测模型进行压缩裁剪得到轻量化的精简模型，植入到资源受限的无人机载嵌入式AI自主识别芯片上。

S5、使用步骤S4中的所述无人机作为飞行平台，利用所述嵌入式AI自主识别芯片在飞行过程中实时检测地面环境中是否存在火箭残骸并在机载CPU或在地面端解算残骸位置传回地面端。

进一步地，所述步骤S1中的火箭残骸三维场景模拟图像生成软件，该软件使用“全三维合成”方式生成不同背景、不同高空视角下的火箭残骸图片的具体方法步骤实现过程分为三个阶段：三维建模、UE优化、视角转换。