[发明专利]一种多模态目标跟踪方法及装置

说明书

本发明公开了一种多模态目标跟踪方法及装置，方法包括：获取视频中包含的第一视频帧；根据第一采样参数，获取待跟踪目标的稀疏编码字典；根据第二采样参数，获取候选粒子的观测集合；根据候选粒子的各个模态下的第一局部图像块的第一权重，获取每一个第一局部图像块在不同模态下的第一权重的差值；根据该差值，构建观测集合的稀疏表示模型；对稀疏表示模型进行迭代，得到第二稀疏重构系数、第二模态权重和第一局部图像块的第二权重；根据前述三个值，利用联合观测似然值计算函数计算出每一候选粒子的联合观测似然值；将最大的联合观测似然值的候选粒子作为待跟踪目标的跟踪结果。应用本发明实施例，可以提高目标跟踪精度和目标跟踪的准确率。

技术领域

本发明涉及一种目标跟踪方法，更具体涉及一种多模态目标跟踪方法及装置。

背景技术

随着视频监控系统的广泛应用，如何实现摄像设备拍摄的视频片段中的人物的识别，进而进行目标跟踪是亟待解决的技术问题。目标跟踪是指，在一个或多个相机所拍摄的连续的视频帧中，通过对目标的有效表达，进而定位、识别和处理一个或多个我们感兴趣的目标的过程，并且能够对目标运动的规律加以分析和预测，实现对目标更加稳定和连续的跟踪。一个典型的目标跟踪场景就是，由用户指定或系统自动检测出目标后，在接下来的图像序列中跟踪该目标。

目前，研究人员提出了大量的目标跟踪算法，但由于多种因素的影响，如部分遮挡、剧烈形变、相机抖动、背景杂波和不同视角，研发复杂动态场景中的更有效和稳健的目标跟踪算法仍然是一个具有挑战难度的任务。为了克服在单一的可见光视频中，目标跟踪算法应对复杂环境的局限性，如雾霾天气、低照度、背景杂乱等，可以通过融合除了可见光视频外的其他模态的视频信息，如热红外视频，从而实现对目标更稳健持续的跟踪。近年来的多模态目标跟踪方法，尤其是可见光-热红外跟踪，结合稀疏表示模型进行目标跟踪的方法得到了越来越广泛的应用。

但是，现有候选粒子的结构化稀疏表示模型中的局部图像块权重在联合求解时，往往会出现两个模态下局部图像块权重不一致的情况，比如候选粒子的第k个局部图像块，在可见光模态下的权重是所有k个局部图像块中最大的，但是在热红外模态下并非权重最大的局部图像块，两个模态下联合求解的不一致干扰了候选粒子外观的准确表达，容易造成目标跟踪失败。因此，现有技术存在目标跟踪的成功率不高的技术问题。

发明内容

本发明所要解决的技术问题在于提供了一种多模态目标跟踪方法及装置，以解决现有技术中存在的目标跟踪的成功率不高的技术问题。

本发明是通过以下技术方案解决上述技术问题的：

本发明实施例提供了一种多模态目标跟踪方法，所述方法包括：

获取视频中包含的待跟踪目标对应的第一视频帧；

根据所述第一视频帧对应的第一采样参数、预设的空间布局结构和目标模板提取函数，获取所述待跟踪目标对应的稀疏编码字典，其中，所述第一采样参数包括：横轴位移、纵轴位移、缩放比例、旋转角度、纵横比和倾斜角；所述目标模板提取函数包括：粒子滤波算法中的状态转换函数；

针对所述第一视频帧的后续的第二视频帧，根据第二采样参数、所述预设的空间布局结构和所述目标模板提取函数，获取候选粒子的观测集合，其中，所述第二采样参数包括：横轴位移、纵轴位移、缩放比例、旋转角度、纵横比和倾斜角；所述目标模板提取函数包括：粒子滤波算法中的状态转换函数；

针对所述候选粒子观测集合中的每一所述候选粒子，根据所述候选粒子对应的各个模态下的第一局部图像块的第一权重，获取每一个第一局部图像块在不同模态下的第一权重的差值向量，并将所述差值向量作为跨模态一致性约束项，其中，所述模态包括：可见光模态和热红外模态；

基于稀疏表示模型，根据所述跨模态一致性约束项、所述候选粒子对应的各个模态下的第一局部图像块的第一权重、预设的每一模态对应的第一模态权重、模态数量、预设的超参数、第一稀疏重构系数，构建所述观测集合对应的稀疏表示模型；