[发明专利]一种基于无人机的数据关联行人跟踪算法

摘要

目前，无人机具有良好的飞行优势和广阔的飞行范围，能够轻松地完成航拍、搜救、地形勘测、监控侦察等任务，在诸多领域有着越来越广泛的应用。但目前,针对无人机视频图像中行人跟踪的相关研究还较少，而且对于目标的跟踪的准确度还有待提高。本发明提出一种基于无人机的数据关联行人跟踪算法，主要有以下步骤：通过端到端的跟踪模型在深度学习框架中生成融合特征提取和响应，并联合目标行人和其在不同帧之间的相关性,对目标行人进行数据关联跟踪。一种基于无人机的数据关联行人跟踪算法实现了无人机对行人进行拍摄时能够自动的按照输入图片的特征来对行人进行定位并达到跟踪的效果，在现有行人的识别和跟踪，算法速度上有明显的提升。

主权项

1.一种基于无人机的数据关联行人跟踪算法，通过端到端的跟踪模型在深度学习框架中生成融合特征提取和响应，并联合目标行人和其在不同帧之间的相关性,对目标行人进行数据关联跟踪。同时使用DAN网络在任意两帧内对抽取的检测过的目标的特征进行配对，来推断对象的相关性。若目标行人在视频帧之间消失又出现，DAN也可以对其关联。我们利用生成的高效关联计算将当前帧中的目标行人深入到前面的帧中进行关联。最后根据此DAN网络，进行视频帧的相关性计算，将视频帧中的目标行人与以前多个帧中的目标行人相关联,使用匈牙利算法生成可靠的轨迹。完成数据关联行人跟踪，主要包括以下步骤：a.将数据关联定义为map(图)估计问题将一组对象检测结果作为输入观测结果，将没有重叠的轨迹建模为“成本流”网络中不相交的流动路径。将观测似然和过渡概率建模成为流动成本。利用最小成本流算法建立全局最优map轨迹关联。b.构建显式遮挡模型(EOM)a中的方法能够跟踪短期误检,包括由闭塞引起的检测。但是,如果只是将长期阻塞视为缺失的数据,则无法在不影响性能的情况下进行处理。如果允许观测与它们之间的巨大时间间隔关联,则创建错误关联的可能性也会增加。为了有效地解决跟踪长期遮挡,我们通过构造显式遮挡模型(EOM)来明确说明哪些对象可能会遮挡哪些对象。EOM生成一组遮挡假设,并通过一组遮挡约束将它们与输入观测结果结合起来。(只处理跟踪目标之间的遮挡问题)这相当于利用基于原始最小成本流算法的迭代方法解决了基于EOM的网络中最小成本流问题。c.Deep Affinity Network(DAN)对视频帧对象进行外观建模，使用DAN计算跨帧相关性。将网络分为两部分：特征提取器和亲和力估计器。将视频帧I及其目标中心Ct、视频帧I‑n及其目标中心Ct‑n作为网络输入。(使用隔多帧进行网络训练能够帮助当前帧能够更好的与之前帧数据进行关联)还需要groudtruth二进制数据关联矩阵(Lt‑n，Lt)来计算网络损失。d.基于轨迹预测的跟踪方式使用faster‑RCNN算法检测第一帧的目标，然后将检测的目标经过卡尔曼滤波预测下一帧的轨迹状态(u,v,r,h)，再使用faster‑RCNN检测第二帧的目标，将检测到的第二帧目标与预测的轨迹状态进行配对，(例如如果两者IOU接近1，则代表上帧目标与此帧对应成功)重复此过程，其中：faster‑RCNN用于帧检测目标，卡尔曼滤波用于预测，匈牙利算法(或IOU等方法)用于前后帧数据关联这样的流程。有了这个预测，就能将下一帧预测的目标状态与下一帧的检测出来目标进行对比关联，能够发现我下一帧检测出来的这个目标对应上一帧的目标是哪个，就能将两帧分别检测出来的目标联系起来。