[发明专利]基于分层数据关联和卷积神经网络的目标跟踪方法、系统和存储介质

说明书

本发明公开了一种基于分层数据关联和卷积神经网络的目标跟踪方法、系统和存储介质，其方法包括：获取跟踪目标的当前视频帧的检测响应以及当前视频帧之前的所有视频帧的跟踪片段；为每一条跟踪片段计算其置信度，其中，跟踪片段置信度是指当前已经完成部分连接的跟踪片段的可信赖程度；根据置信度的大小，将所有的跟踪片段分为高可靠度跟踪片段和低可靠度跟踪片段两部分，并以当前视频帧的检测响应为关联对象，为高可靠度跟踪片段进行局部数据关联处理，为低可靠度跟踪片段进行全局数据关联处理。本发明可以有效降低关联算法的时间复杂度，能够有效缓解在跟踪的过程中出现的局部遮挡问题，同时可以实现算法的鲁棒性和实时性的均衡。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于分层数据关联和卷积神经网络的目标跟踪方法、系统和存储介质。

背景技术

目前，随着社会的发展，人们对于人工智能应用的需求越来越大，几乎涵盖了社会生活中的各个方面，人们也希望能够在视频相关领域实现智能化。尤其是近几年来计算机视觉相关技术以及硬件平台的快速发展，使得人工智能在视频领域的应用成为了可能。目前，世界上各个国家越来越多的人开始投入到计算机视觉领域的分析与研究当中，并取得了巨大的成就。然而由于拍摄场景、拍摄角度复杂多样，不同的光照强度、场景的复杂程度都会对拍摄的视频质量产生重要的影响。因此，许多计算机视觉技术在实际视频应用中还存在许多难点问题需要去解决，多目标跟踪技术便是其中之一。在多目标跟踪领域，目标所处的背景复杂，有的含有很多噪音，而且多个不同的目标之间存在表观相似及相互遮挡等问题，使得在视频中实现鲁棒性和实时性的多目标跟踪充满了挑战性。

在整个视频序列中，多目标跟踪要始终维持所有目标的身份标记，以及所有目标的尺寸、位置等信息，防止跟丢、跟错等情况的发生。多目标跟踪的主要过程如下：首先，利用摄像机进行场景拍摄，拍摄的视频就是多目标跟踪需要处理的对象；然后利用目标检测算法对每一帧中的检测响应进行提取，包括目标的位置及尺寸信息，获得每一帧中的所有的目标的位置、尺寸信息之后，需要进行一个数据关联的过程，即对每一帧中出现的所有目标进行标号，要求同一个目标在整个视频序列中的标号唯一，且不能出现漏标的情况，最后将每一帧中拥有相同标号的目标连接起来，获取它们的位置、尺寸、速度等信息，进行一个平滑处理，就可以获得所求的目标轨迹，上述类型的算法被称为基于数据关联的多目标跟踪算法。

多目标跟踪在现实生活中具有广泛的应用场景。越来越多的机构及科研人员投入到了多目标跟踪问题的研究当中，并取得了巨大的进步，但取得的效果并不理想，其原因如下：

(1)遮挡问题：遮挡问题是多目标跟踪里面十分严重的问题，也是许多目标跟踪算法企图避免或解决的问题。多目标跟踪中的遮挡问题主要可以分为以下三种情况：要跟踪的目标被视频序列中的其他物体遮挡，从目标进入遮挡区域到目标离开遮挡区域的时间段内，无法获取该目标的表观信息及运动信息，当目标再次出现时，无法将该目标与前面的跟踪轨迹连接，导致跟踪片段断裂；跟踪的目标之间相互遮挡，当两个目标在运动的过程中出现了交叉，发生了位置交换或者是两个目标的位置距离较近，若是两个目标的表观信息相近，则当两个目标再次分开时，可能出现身份交换的问题；目标自身的遮挡，目标在运动的过程中，出现了剧烈的形变，自身的某些部位遮挡住了其他部分，导致无法很好的提取其表观信息。目前许多算法都提出了处理遮挡问题的一些方案，但出现严重遮挡或长期遮挡时，这些算法的效果并不理想，这些算法也无法在目标丢失的情况下如何重新获取这些目标。

(2)目标之间的相似性：当跟踪的场景属于密集场景时，即在每一幅画面中，都存在大量的需要进行跟踪的目标，此时想要获取这些目标全部的表观信息较为困难，只能获得局部的表观信息，例如在密集场景下对行人进行跟踪，只能看到行人上半身的状态甚至是只能看到头部，此时提取的表观特征极为相似，而且他们之间的位置也会十分接近，如何准确的将各个目标区分开成为一个难点问题。