[发明专利]用于对象跟踪的方法和系统

说明书

本公开涉及一种用于跟踪视频中的目标对象的方法和系统。所述方法包括：从所述视频提取含有所述目标对象的3维(3D)特征块；将所提取的3D特征块分解成含有所述目标对象的空间信息的2维(2D)空间特征图和含有所述目标对象的空间‑时间信息的2D空间‑时间特征图；在所述2D空间特征图中估计所述目标对象的位置；在所述2D空间‑时间特征图中确定所述目标对象的速度和加速度；根据所确定的速度和加速度校准所述目标对象的估计位置；以及根据校准后的位置跟踪所述视频中的所述目标对象。

技术领域

本公开涉及一种用于跟踪视频中的目标对象的方法和系统。

背景技术

跟踪视频中的目标对象是一项至关重要的任务。一般来说，应首先从视频的每一帧识别目标对象(例如，一群目标对象或个别目标对象)。接着，执行跟踪以分别采集对象的移动。因此，目标对象的位置与其动态特征(例如，速度和加速度)是在不同的任务中进行检测，这限制了对象跟踪的准确度。

开发了大量基于学习的方法用于对象跟踪。作为一种成功应用于对象跟踪的深度学习模型，卷积神经网络(CNN)已展现出在速度和准确度方面的优良表现。期望开发CNN来增强对象跟踪的准确度。

发明内容

下文呈现对本公开的简化概述，以便提供对本公开的一些方面的基本理解。此概述并非本公开的详尽综述。此概述既不标识本公开的重要或关键要素，也不划定本公开的特定实施方式的任何范围或权利要求书的任何范围。其唯一目的是以简化形式呈现本公开的一些概念，以作为稍后呈现的更详细描述的序言。

为了至少部分地解决以上问题中的一个问题，提供一种用于跟踪视频中的目标对象的方法和系统。所述方法包括：从所述视频提取含有所述目标对象的3维(3D)特征块；将所提取的3D特征块分解成含有所述目标对象的空间信息的2维(2D)空间特征图和含有所述目标对象的空间-时间信息的2D空间-时间特征图；在所述2D空间特征图中估计所述目标对象的位置；在所述2D空间-时间特征图中确定所述目标对象的速度和加速度；根据所确定的速度和加速度校准所述目标对象的估计位置；以及根据校准后的位置跟踪所述视频中的所述目标对象。

在本申请的一个实施方式中，所述2D空间特征图可在第一空间方向和与所述第一空间方向相交的第二空间方向上延伸。

在本申请的一个实施方式中，所述2D空间-时间特征图可包括：第一2D空间-时间特征图，其在所述第一空间方向和时间方向上延伸且包括所述目标对象的所述速度和所述加速度在所述第一空间方向上的分量；以及第二2D空间-时间特征图，其在所述第二空间方向和所述时间方向上延伸且包括所述目标对象的所述速度和所述加速度在所述第二空间方向上的分量。

在本申请的一个实施方式中，所述方法可包括提供包括特征提取层的CNN，其中，所述提取可包括：在所述特征提取层中对所述视频的每一帧进行过滤以获得第一特征图；评估所述第一特征图与含有所述目标对象的关注特征(FOI)的预设图像之间的重叠度和类似度；以及根据所述重叠度和所述类似度从所述第一特征图中选择第二特征图，其中，所述第二特征图仅含有所述目标对象的所述FOI；以及将所述视频的每一帧上的所选第二特征图组合在一起以建构所述3D特征块。在替代实施例中，所述评估包括将所述第一特征图与从所述预设图像生成的二元掩模进行比较。

在本申请的一个实施方式中，所述CNN还可包括联接到所述特征提取层的交换层，以及其中，所述分解可包括：从所述特征提取层接收所述3D特征块；禁用所接收特征块在所述时间方向上的数据以获得所述2D空间特征图；以及禁用所述所接收特征块在所述第一空间方向和所述第二空间方向中的一个方向上的数据以获得所述2D空间-时间特征图。

在本申请的一个实施方式中，所述CNN还可包括联接到所述交换层的2D空间特征提取层，以及其中，所述估计可包括：从所述交换层接收所述2D空间特征图；增强所述FOI在所述2D空间特征图中的差异；根据增强后的FOI识别所述目标对象；以及估计所识别目标对象的所述位置。