[发明专利]一种多模态目标跟踪方法及装置

权利要求书

1.一种多模态目标跟踪方法，其特征在于，所述方法包括：

获取视频中包含的待跟踪目标对应的第一视频帧；

根据所述第一视频帧对应的第一采样参数、预设的空间布局结构和目标模板提取函数，获取所述待跟踪目标对应的稀疏编码字典，其中，所述第一采样参数包括：横轴位移、纵轴位移、缩放比例、旋转角度、纵横比和倾斜角；所述目标模板提取函数包括：粒子滤波算法中的状态转换函数；

针对所述第一视频帧的后续的第二视频帧，根据第二采样参数、所述预设的空间布局结构和所述目标模板提取函数，获取候选粒子的观测集合，其中，所述第二采样参数包括：横轴位移、纵轴位移、缩放比例、旋转角度、纵横比和倾斜角；所述目标模板提取函数包括：粒子滤波算法中的状态转换函数；

针对所述候选粒子观测集合中的每一所述候选粒子，根据所述候选粒子对应的各个模态下的第一局部图像块的第一权重，获取每一个第一局部图像块在不同模态下的第一权重的差值向量，并将所述差值向量作为跨模态一致性约束项，其中，所述模态包括：可见光模态和热红外模态；

基于稀疏表示模型，根据所述跨模态一致性约束项、所述候选粒子对应的各个模态下的第一局部图像块的第一权重、预设的每一模态对应的第一模态权重、模态数量、预设的超参数、第一稀疏重构系数，构建所述观测集合对应的稀疏表示模型；

对所述稀疏表示模型进行迭代求解，得到第二稀疏重构系数、第二模态权重和第一局部图像块的第二权重；

根据所述第二稀疏重构系数、所述第二模态权重和所述第一局部图像块的第二权重，利用联合观测似然值计算函数计算出每一所述候选粒子对应的联合观测似然值；

将最大的联合观测似然值对应的候选粒子作为所述待跟踪目标对应的跟踪结果。

2.根据权利要求1所述的一种多模态目标跟踪方法，其特征在于，所述根据所述第一视频帧对应的第一采样参数、预设的空间布局结构和目标模板提取函数，获取所述待跟踪目标对应的稀疏编码字典，包括：

针对所述待跟踪目标对应的第一视频帧的每一模态，根据预设的第一采样参数，使用目标模板提取函数，从所述待跟踪目标对应的第一视频帧中获取第一数量个目标模板；

针对所述第一数量个目标模板中的每一目标模板，根据预设的空间布局结构，获取第二数量个第二局部图像块；

利用灰度处理算法、图像向量化算法和图像正则化算法对所述第一视频帧的所有模态对应的第二局部图像块进行处理，并将处理后的结果的集合作为所述待跟踪目标对应的稀疏编码字典。

3.根据权利要求2所述的一种多模态目标跟踪方法，其特征在于，所述针对所述第一视频帧的后续的第二视频帧，根据第二采样参数、所述预设的空间布局结构和所述目标模板提取函数，获取候选粒子的观测集合，包括：

在所述第一视频帧的后续的第二视频帧中，针对所述第二视频帧的每一模态，以所述待跟踪目标在所述第一视频帧中的位置中心的预设范围内，根据预设的第二采样参数，使用所述目标模板提取函数，从所述第二视频帧中获取第三数量个候选粒子，其中，所述第一采样参数包括：横轴位移、纵轴位移、缩放比例、旋转角度、纵横比和倾斜角；所述目标模板提取函数包括：粒子滤波算法中的状态转换函数；

针对所述第三数量个候选粒子中的每一候选粒子，根据所述预设的空间布局结构，获取第四数量个第二局部图像块；

利用灰度处理算法、图像向量化算法和图像正则化算法对所述第二视频帧的所有模态对应的第二局部图像块进行处理，并将处理后的结果的集合作为所述候选粒子的观测集合。