[发明专利]一种视觉跟踪系统及方法

说明书

本发明属于视觉跟踪领域，并公开了一种视觉跟踪系统及方法，该系统包括图像采集装置、光路转换装置和光路调整装置，图像采集装置包括相对位置固定的第一相机和第二相机，第一相机用于获取图像并进行视觉跟踪以预测待跟踪目标的位置；光路转换装置设于待跟踪目标与第二相机之间，用于使待跟踪目标在第二相机上清晰成像；光路调整装置根据待跟踪目标的位置实时调整光路转换装置的光路，以使目标始终位于第二相机的成像中心。所述视觉跟踪方法包括如下步骤：利用第一相机获取各帧图像并进行视觉跟踪以预测各帧图像中目标的位置；根据目标的位置实时调整光路以使目标在第二相机中心清晰成像。本发明具有速度快、鲁棒性高、适应性好等优点。

技术领域

本发明属于视觉跟踪领域，更具体地，涉及一种视觉跟踪系统及方法。

背景技术

随着计算机视觉和机器视觉技术的快速发展，人工智能已经从过去的单纯追求准确性到现今的准确性、鲁棒性和实时性三者并重的局面，只有这样才能加速技术的快速落地。视觉跟踪作为计算机视觉热门研究方向之一，不仅可以作为行为识别和视频目标检测等复杂技术中的一环，同时也可以单独作为一项技术广泛应用于日常生活与生产中，如工业机器人、智能安防以及无人驾驶等领域。

视觉跟踪是指给定第一帧目标所在位置以及一个视频序列，要求从第二帧开始能够正确定位到目标。由于跟踪的目标可能是任何物体，因此无法离线训练得到，在跟踪前期面临的困难是训练样本单一的问题；而在跟踪中后期，目标与第一帧相比已发生较大形变，虽然已经积累大量训练样本，但由于之前的目标定位可能不准确或出现漂移，跟踪的问题转变为如何进行稳定鲁棒的跟踪。

从场景和环境的角度来分析，目前视觉跟踪主要面临着如下挑战如光照变化、复杂背景以及相似目标干扰等；而从目标自身来看，目标旋转、剧烈形变、遮挡以及尺度变化等情况发生时会增加跟踪失败的概率。目前相关滤波方法和深度学习方法广泛应用于目标跟踪中，相关滤波方法在实时检测和模型训练时都只需要计算一次特征，具有速度快的优势，可以较好处理背景简单、目标轻微或缓慢变形的情况；而深度学习方法利用目标的语义信息以提升鲁棒性，但大多数方法在目标出现剧烈形变仍无法进行正确跟踪。现有的方法都只利用了单个模型，而在真实跟踪场景中，目标的形态通常会随着时间变化，而且大部分案例都是跟踪时间越久，目标外观与第一帧相比的差异越大，而当目标出现短时间的遮挡时，其外观又是另一种形态，所以当目标出现剧烈形变或被部分遮挡时，当前大部分跟踪算法都无法进行很好地适应。且目前大部分跟踪系统都由一个摄像头和云台构成，通过对摄像头获得到的图像进行分析得到目标位置，再将目标位置反馈给云台，云台通过角度等的调整，使目标始终位于图像的中心。但是其存在两个问题：一是云台在运动状态时获取到的图像会出现模糊，因此无法进行高帧率的跟踪；二是通过摄像头获得的视野范围和清晰度有限，无法获得小目标在大视野范围内的清晰图像。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种视觉跟踪系统及方法，其通过两个相机及光路转换装置的配合作用，可实现大范围视野下的小目标的清晰准确的定位和跟踪，在稳定成像的前提下提升可用的上限帧率，具有速度快、鲁棒性高、适应性好等优点。

为实现上述目的，按照本发明的一个方面，提出了一种视觉跟踪系统，其包括图像采集装置、光路转换装置和光路调整装置，其中：

所述图像采集装置包括第一相机和第二相机，所述第一相机设于所述第二相机的旁侧，并且与第二相机的相对位置固定，该第一相机用于获取各帧图像并进行视觉跟踪以预测各帧图像中待跟踪目标的位置；

所述光路转换装置设于待跟踪目标与所述第二相机之间，用于使待跟踪目标在所述第二相机上清晰成像；

所述光路调整装置用于根据预测的待跟踪目标的位置实时调整光路转换装置的光路，以使得待跟踪目标始终位于所述第二相机的成像中心。