[发明专利]一种基于TLD优化算法的目标重捕获系统及方法

说明书

技术领域

本发明属于视觉图像领域，具体涉及一种通过帧间运动补偿与模板匹配学习的方法实现的目标跟踪与重捕获系统及方法。

背景技术

目前对于目标丢失后的重新捕获主要通过TLD算法来实现。TLD(Track Learning Detection)是一种可以对目标进行在线学习的跟踪算法。该算法由跟踪、学习和检测三个模块构成。当目标出现时跟踪模块对目标进行跟踪，跟踪的结果传入学习模块进行学习。通过学习让计算机“记住”目标的特征。在目标丢失或者跟踪失败的情况下，检测模块会根据之前“记忆”的特征在当前帧中检测目标。一旦检测到目标再次出现，则继续跟踪和学习。该算法可以长时间对目标进行跟踪，当目标被遮挡后再次出现时，仍可以对目标进行跟踪。然而该算法计算量较大，不适应在计算资源非常有限的无人机系统中使用。

TLD算法结合目标跟踪和机器学习算法，实现了对目标的稳定跟踪与重捕获。TLD算法应用在无人机系统上是新技术。在无人机系统上使用TLD算法面临如下问题：(1)如何在有限的硬件资源下实现实时跟踪；(2)如何跟踪在高空拍摄的“小”目标；(3)如何处理由无人机姿态变化带来的镜头旋转(目标没有旋转)；(4)如何处理目标旋转时跟踪失败问题；(5)如何处理跟踪短时间目标丢失时的正样本生成；(6)如何处理目标丢失后发生错误重捕获等问题。

本发明的技术解决问题：克服现有技术的不足，提供了一种基于TLD优化算法的重捕获技术，该技术解决了TLD算法在无人机系统中应用的诸多问题。在有限的计算资源上实现了实时稳定跟踪；解决了对小目标的特征提取及跟踪，提升了对旋转摄像机和目标出现旋转的情况下跟踪的鲁棒性；降低了重捕获的误检率。

本发明的技术解决方案：一种基于TLD优化算法的重捕获技术，包括以下模块：多分辨率帧间配准模块、模板匹配跟踪模块、基于遥测数据的快速检测学习模块。其中多分辨率帧间匹配模块用以对摄像机的运动进行补偿；模板匹配跟踪模块可在预测的较小搜索范围内进行目标的快速匹配与跟踪；基于遥测数据的快速检测学习模块，可通过读取遥测数据提供的高度信息，大幅缩减用于检测的搜索窗口数量，从而提升检测速度。

所述的多分辨率帧间配准模块，通过在四分之一分辨率的图像上进行粗略的模板匹配，计算出摄像机大致的运动方向；在四分之一分辨率图像上寻找角点，之后在全分辨率图像上跟踪这些角点；对于每一对跟踪点计算其跟踪质量参数；对所有跟踪点对的跟踪质量参数进行排序，仅选取质量最好的前26个点对进行透视变换矩阵的计算；该透视变换矩阵可以消除摄像机带来的旋转、平移、缩放以及透视变换。

所述的模板运动匹配跟踪模块可通过多分辨帧间配准模块计算出来的透视变换矩阵，进一步缩小跟踪的搜索范围。缩小模板匹配的搜索范围可以大幅缩短模板匹配的计算时间，同时降低误匹配。对于静止目标可以通过透视变换矩阵计算出目标在下一帧中大致的位置，在该位置周围设置搜索范围进行模板匹配跟踪。对于运动目标可在透视变换的基础上加入运动估计预测，确定较为精确的搜索范围。

所述的基于遥测数据的快速检测学习模块，通过读取遥测数据中的焦距值和高度值来缩减用于检测的图像块的数量。在原始TLD算法中，需要将图像分割成大小不一位置不同的多个图像块。当目标在像空间大小变化较大时，只能通过多尺度图像块的检测才能实现目标的重捕获。本模块可以通过遥测数据对像平面中点进行定位，计算出摄像机到大地的距离，通过该距离与焦距可以估计出目标在像空间中的大致尺寸。利用该尺寸可以快速选择合适的目标检测图像块大小。同时提出了一种基于相似度的快速模板学习算法。

本发明与现有技术相比的优点在于：

(1)本发明提出一种快速的帧间摄像机运动补偿算法，保证在摄像机晃动较大的情况下仍可以实现对目标实时、稳定的跟踪。

(2)本发明大大提升了跟踪的执行效率，能实现在较低配置硬件平台上(如嵌入式平台)的实时跟踪。

(3)本发明能够对跟踪的目标进行学习，实现在目标被遮挡或者脱离视场之后再出现时仍可以重新捕获并跟踪。

(4)本发明通过遥测数据可大幅减少目标检测时需匹配的图像块个数，实现快速、准确的检测与重捕获。

附图说明

图1为重捕获算法整体流程图；

图2为多分辨率帧间配准流程图；

图3为模板匹配跟踪示意图。

具体实施方式