[发明专利]一种多目标位姿实时在线估计方法、系统、设备及介质

说明书

本发明公开了一种多目标位姿实时在线估计方法、系统、设备及介质，针对实时航拍图像，一方面，通过分块检测与首尾互联的方式实现地面目标位姿的快速估计；另一方面，结合数据关联思想，对地面目标实时在线跟踪，有效克服了航拍图像中目标体积小、数量多、易被遮挡、动态非合作以及嵌入式设备计算能力有限等问题，提高航拍多目标位姿估计的效率，实现机载嵌入式环境下航拍地面目标在线实时估计，进而满足灾难救援、军事监控等领域对地面目标探测感知的多目标、多维度以及强实时需求。

技术领域

本发明涉及无人系统智能视觉感知技术领域，具体为一种多目标位姿实时在线估计方法系统、设备及介质。

背景技术

近年来，随着无人机技术迅猛发展，由于其移动性强、成本低、监测高度可变等优点，无人机已被广泛应用于灾难救援、军事监控等领域。面向日趋丰富多样的无人机探测感知任务，结合体积小、重量轻、功耗和成本低的视觉传感器，对无人感知系统进一步提出了多目标、多维度以及强实时的能力需求，以支撑多种类、多数量救灾/监控目标位置、姿态信息的即时感知，航拍多目标位姿实时估计已成为完善感知探测目标信息的重要基础，是提升无人机感知系统自身智能水平的关键一环。

目前，受限于无人机感知系统载荷数量与信息处理能力，以及航拍目标体积小、数量多、动态非合作且容易被遮挡等原因，基于嵌入式设备的航拍多目标姿态在线实时估计难以实现。

发明内容

本发明目的在于提供一种多目标位姿实时在线估计方法，以克服现有技术中基于嵌入式设备的航拍多目标姿态在线实时估计难以实现的问题。

为实现上述目的，本发明提供如下技术方案：

一种多目标位姿实时在线估计方法，包括以下步骤：

S1：从不同高度及角度采集航拍车辆图像，并标注图像中的车头及车辆，生成航拍车辆训练集，并对航拍车辆训练集进行训练，生成目标检测模型；

S2：对目标检测模型进行轻量化，并将轻量化后的目标检测模型部署在GPU嵌入式开发板上；

S3：将搭载有云台摄像机的GPU嵌入式开发板安装在无人机上，获取航拍图像，并将获取到的航拍图像输入到轻量化后的目标检测模型，获得目标检测结果；

S4：根据目标检测结果分别计算车头和车辆检测框的重叠率，实现车辆和对应车头的关联，然后连接车辆和车头的质心，计算车辆的姿态角；

S5：根据目标检测结果，以欧氏距离作为相邻帧目标间的相似度度量，建立关联矩阵，求解全局最优匹配，对最优匹配结果进行筛选，得到目标跟踪结果，将目标跟踪结果与车辆姿态角进行匹配，获得目标的实时位姿。

优选地，S1中采用YOLOv5s网络对航拍车辆训练集进行训练。

优选地，目标检测模型以添加Focus结构的CSPDarknet-53作为骨干网络。

优选地，车头和车辆检测框的重叠率计算公式为：

其中，分别为车头i和车辆j的检测框的面积。

优选地，车辆姿态角的计算公式为：

其中，(x₁,y₁)和(x₂,y₂)分别为车头和车辆的质心坐标。

优选地，关联矩阵为：

其中，表示第t帧中检测到的第i个车辆，M和N分别表示第t帧和第t+1帧中检测出来的目标个数，表示车辆之间的欧氏距离。

优选地，求解全局最优匹配采用匈牙利算法。