[发明专利]基于立体视觉的长时无人机跟踪定位方法、系统、装置

说明书

本发明属于视觉跟踪技术领域，具体涉及一种基于立体视觉的长时无人机跟踪定位方法、系统、装置，旨在解决现有的视觉跟踪方法目标追踪定位实时性较差、精度较低的问题。本系统方法包括：获取t时刻的双目视觉图像对；对图像对进行预处理，并通过双目立体匹配算法对预处理后图像对中的两个图像进行匹配，得到三维点云数据；对三维点云数据进行聚类，获取待定位目标的候选区域；对各候选区域，分别通过模板匹配算法、预设的第一方法得到第一匹配度、第二匹配度；若各候选区域的第一匹配度大于设定的第一阈值且第二匹配度小于设定的第二阈值，则将其作为待定位目标的目标区域。本发明提高了目标追踪定位的实时性及精度。

技术领域

本发明属于视觉跟踪技术领域，具体涉及一种基于立体视觉的长时无人机跟踪定位方法、系统、装置。

背景技术

近些年来，判别学习方法被广泛用于视觉跟踪研究中。视觉跟踪是许多计算机视觉系统的关键组成部分，可以自然地指定为在线学习问题，即给定包含目标的初始图像块，训练学习一个分类器以区分目标和周围环境。该分类器可以在许多位置进行精细评估，以便在后续帧中检测它，同时每个新检测都提供了一个新的图像块从而更新模型。目前主流的视觉跟踪方法包含基于相关滤波的跟踪方法和基于神经网络的跟踪方法。

基于相关滤波的跟踪方法是一种根据多个之前帧和当前帧的匹配对，训练出一个相关滤波器，在跟踪过程中，该滤波器与新输入的帧进行相关性计算，得到的置信图，置信图中响应最大的点或者块就是最可能的跟踪结果。该方法速度较快，但精度相对较低，而且受目标背景影响较大，对于小目标的跟踪效果很差。

基于神经网络的跟踪方法，例如Multi-Domain Network(MDN)，是一种基于CNN特征表示的目标跟踪算法，该算法使用大规模的具有标注框的视频来训练CNN从而得到通用的特征表示。算法的网络结构有两部分组成，一部分是共享层，另一部分是多分支的具有独特目标特征的全连接层，每个分支负责对目标进行二分类。MDN在训练时，用不同的视频序列来训练网络从而得到通用的共享层。在追踪一个新目标时，结合共享层和新的全连接层,得到最终的检测结果。该方法准确度和鲁棒性较高，但需要大量的数据训练，这在无人机任务中很难获得；除此之外，该算法的计算量大，无法在嵌入式设备上实现高帧率计算。

基于上述两种方法的弊端，本发明提取了一种基于立体视觉的长时无人机跟踪定位方法。

发明内容

为了解决现有技术中的上述问题，即为了解决现有的视觉跟踪方法由于计算量大、在长时间跟踪过程中模板更新容易出现错误以及训练样本需求量大，导致目标追踪定位的实时性较差、精度较低的问题，本发明第一方面，提出了一种基于立体视觉的长时无人机跟踪定位方法，该方法包括：

步骤S100，获取t时刻的双目视觉图像对，作为输入图像对；

步骤S200，对所述输入图像对进行预处理，并通过双目立体匹配算法对预处理后图像对中的两个图像进行匹配，得到三维点云数据；

步骤S300，采用预设的聚类方法对所述三维点云数据进行聚类，获取待定位目标的候选区域；

步骤S400，对各候选区域，通过模板匹配算法分别将其与第一图像匹配，得到其对应的第一匹配度，并通过预设的第一方法分别将其与第二图像匹配，得到其对应的第二匹配度；所述第一图像为预设的待定位目标的模板图像；所述第二图像为t-1时刻待定位目标的目标区域图像；

步骤S500，若各候选区域的第一匹配度大于设定的第一阈值且第二匹配度小于设定的第二阈值，则将其作为待定位目标的目标区域。

在一些优选的实施方式中，步骤S200中“对所述输入图像对进行预处理”，其方法为：

对所述输入图像对进行高斯平滑处理，处理后进行预设N倍的下采样；其中，N为正整数。