[发明专利]一种多模态目标重识别方法

权利要求书

1.一种多模态目标重识别方法，其特征在于，具体步骤如下：

步骤S1：通过多个摄像头采集不同场景下的监控视频，得到监控视频数据库S_L，利用S_L训练目标检测模型、目标跟踪模型、行为识别模型、属性识别模型以及人脸检测模型；

步骤S2：通过目标检测模型得到目标序列O＝{o₁,o₂,...,o_n}，同时对检测到的目标o_i通过目标跟踪模型进行跟踪，直到目标o_i超出摄像头的监控范围，得到目标o_i出现的时间范围得到所有目标在监控视频中出现的时间序列T＝{t₁,t₂,...,t_n}；

步骤S3：通过行为识别模型得到监控视频中各个目标的行为序列B＝{b₁,b₂,...,b_n}；

步骤S4：将步骤S2中的目标序列O输入到属性识别模型中得到各个目标的属性序列A＝{a₁,a₂,...,a_n}；

步骤S5：通过特征提取模块将O中各个目标从图像转换成特征矩阵F＝{f₁,f₂,...,f_n}，并将每个目标的特征信息、属性信息、行为信息和时间信息关联在一起，形成目标的多模态信息集MIS＝{I₁,I₂,...,I_n}，其中I_i＝{f_i,a₂b_i,t_i}，当目标为人时，检测目标通过人脸检测模型得到面部特征FF＝{ff_i,ff₂,...,ff_i}，I_i＝{f_i,a₂b_i,ff_i,t_i}；

步骤S6：当进行目标重识别时，将目标图像输入到特征提取模块中，得到待检索目标的特征矩阵WTF，再对MIS的特征信息列进行检索，计算MIS中各目标与WTF之间的相似度，确定是否存在对应目标t_i，当不存在对应目标时，将待检索目标的多模态信息作为输入从中MIS检索。

2.根据权利要求1所述的一种多模态目标重识别方法，其特征在于：在步骤S2中，在目标检测过程中，对于模糊度高于设定阀值的目标不加入目标序列中，目标检测模型将场景中检测到的目标裁剪出来形成一个图像库，并将图像库转换为特征矩阵进行存储。

3.根据权利要求2所述的一种多模态目标重识别方法，其特征在于：在步骤S6中，在进行特征提取前，当图像的模糊度高于设定值时，通过图像的多模态信息进行作为输入从中MIS检索，当图像的模糊度小于等于设定值时，进行特征提取，得到目标的特征矩阵WTF。

4.根据权利要求3所述的一种多模态目标重识别方法，其特征在于：所述多模态信息为目标属性信息或行为信息或其组合。