[发明专利]用于嵌入式视觉系统的高性能视觉对象跟踪方法及系统

说明书

一种实时视觉跟踪系统，一方面，用于实时视觉跟踪移动中的对象的无人驾驶飞行器(UAV)包括处理器、与该处理器连接的存储器，连接至该处理器和存储器的摄像机，其中摄像机用于捕捉该移动中的对象的视频；该UAV还包括视觉跟踪模块，用于接收第一帧视频图像及该目标对象的第一个位置；接收该第一帧视频图像后的第二帧视频图像；将第一搜索窗置于第一帧视频图像中，将第二搜索窗置于该第二帧视频图像中，该第二搜索窗在该第二帧视频图像中的位置与该第一搜索窗在该第一帧视频图像中的位置相同；计算第一搜索窗内的第一图像块和第二搜索窗内的第二图像块之间的相关图；基于计算出的该相关图确定该目标对象在该第二帧视频图像中的更新位置。

技术领域

本申请一般涉及机器视觉，更具体而言，涉及利用由安装在无人驾驶飞行器(UAV)或无人机上的摄像机捕捉的视频图像，执行实时对象视觉跟踪的系统、设备和技术。

背景技术

近来，民用和商用无人驾驶飞行器(UAV)或无人机(一种微型无人驾驶飞机)备受欢迎并且已在全球范围内获得商业上的成功。无人驾驶飞行器通常由遥控和/或软件控制，并且利用由多旋翼等生成的空气动力效应在天空中机动飞行，在保持较高稳定性的同时执行已设计的功能，例如监控和包裹邮递。然而，民用UAV或无人机的最受欢迎的应用之一在于航拍，即在被拍照对象上方的有利位置拍摄静止图片或者录制视频。通常，利用UAV录制视频需要UAV使用者非常具有技术性地控制UAV及其摄像机万向架。然而，在一些情形下，手动控制是比较困难的，例如当用户走路的同时想要录制本人视频或者用户需要为移动目标录制视频。在这些情形下，UAV就非常有必要具有跟踪移动目标及自动捕捉视频的能力。

现有的大量民用UAV已经具备对象跟踪能力，然而这些UAV大多依赖GPS跟踪目标。换言之，被UAV跟踪的目标必须配置有GPS设备，用于接受GPS信号并将GPS位置信息回传至UAV，从而该UAV可以利用接收到的GPS信息来跟踪目标。然而，对于不具有GPS接收器的目标以及难以获取GPS信息的目标而言，UAV就非常有必要包括视频跟踪装置，该视频跟踪装置主要依赖已捕捉视频的视觉信息来跟踪该目标，而不需要如GPS接收器等的其他传感器或设备。市场上提供的少量民用UAV产品已经具备了高度复杂的视觉跟踪功能。然而不乐观的是，实现这些高度复杂的视觉跟踪功能一般需要该UAV产品配置有强大的计算平台，例如因特尔Movidius^TMMyriad^TM2代视觉处理器(VPU)。因此，现有的这些视觉跟踪功能并不适用于很多低端UAV产品。

因此，需要提供一种可应用于低端民用UAV平台的低复杂度并具高性能的视觉跟踪装置。

发明内容

本申请描述的多个实施例提供了基于视频图像跟踪移动中的对象的实时视觉对象跟踪系统的多个实例。一方面，公开了一种对视频中捕捉的目标对象执行实时视觉跟踪的过程。该过程包括如下步骤：接收该视频中的第一帧视频图像以及在该第一帧视频图像中该目标对象的预先确定的第一个位置；接收该第一帧视频图像后的视频的第二帧视频图像，其中该目标对象在该第二帧视频图像中的位置未知；将第一搜索窗置于第一帧视频图像中，该第一搜索窗以该目标对象的第一个位置为中心，并将第二搜索窗置于该第二帧视频图像中，该第二搜索窗在该第二帧视频图像中的位置与该第一搜索窗在该第一帧视频图像中的位置相同；计算第一搜索窗内的第一帧视频图像中的第一图像块和第二搜索窗内的第二帧视频图像中的第二图像块之间的相关图；以及基于计算出的该相关图确定该目标对象在该第二帧视频图像中的更新位置。

在一些实施例中，该第一搜索窗和该第二搜索窗具有相同的横向和纵向尺寸，并且该第一搜索窗和该第二搜索窗的横向和纵向尺寸分别明显大于该目标对象的边界框的对应尺寸。