[发明专利]一种跨场景目标自动识别与追踪方法及应用

权利要求书

1.一种跨场景目标自动识别与追踪方法，其特征在于，包括下述步骤：

在视频中给出跟踪目标感兴趣区域，利用Siammask神经网络在监控场景中对该跟踪目标进行跟踪；

当所跟踪的目标丢失时，通过yolov3神经网络特征提取模型检测所跟踪的行为人；

将监控场景行为人序列与跟踪目标输入到strong baseline ReID神经网络进行特征提取，计算行为人序列特征与跟踪目标特征之间的欧式距离，若小于设定的欧式距离阈值，则判定该行为人为跟踪目标，实现行为人重识别；

对多路场景进行行为人检测与行为人重识别，找出行为人，完成跨场景行为人识别与追踪；

应用FACENET卷积网络人脸识别技术识别行为人，进行跟踪目标的身份识别；

采用CSRnet对人群密度进行估计,根据人群密度阈值分配系统计算资源，对超出设定的阈值的监控区域进行预警；

所述采用CSRnet对人群密度进行估计，具体步骤包括：

针对要识别的各种人群密度情况，提取图片中的人数作为训练集；

计算视野中的透视特征：

s_j＝U_bi(F_j(P_ave(f_v,j),θ_j))

c_j＝s_j-f_v

其中，f_v表示空间位置原有的特征数据，w_j表示特定尺寸的权重，s_j是特征图权重，[|表示通道级联操作，⊙是权重图和特征图的元素乘积，U_bi表示双线性插值，F_j是一个核大小为1的卷积网络，P_ave表示将VGG特征平均分块，θ_j表示不同大小的卷积核，表示1×1卷积层，表示权重，c_j表示对比特征；

定义损失函数：

其中，代表密度图，代表实际密度，B代表不同的尺度；

最终得到目标学习一个估计的密度图：

其中μ,σ代表正态分布的均值和方差，N^gt(.|.)是高斯核函数，I_i是每一张图片，c_i代表将图片分为的各个部分，是最后得到的密度图；

得到密度图后，通过计算得到人群密度的估计值，通过密度估计值结合分布式计算，将更多的计算资源分配到人群密集的监控区域，并设置人群密度阈值，当超过阈值，则进行区域预警；

设定检索条件，利用yolov5特征提取模型根据检索条件在视频监控所有场景中查找及匹配关键目标，并框选出所有符合条件的目标。

2.根据权利要求1所述的跨场景目标自动识别与追踪方法，其特征在于，所述利用Siammask神经网络在多个监控场景中对该跟踪目标进行跟踪，具体步骤包括：

由目标位置得到目标区域以及下一帧中的搜索区域；

提取目标区域特征与搜索区域特征，并进行两者的深度互相关，得到响应图；

对目标区域与搜索区域特征深度互相关后得到的每一个响应图进行像素级的Mask预测，并对每一个响应图的相似度进行预测，得出相似度最高的Mask预测所在位置，同时进行相似度阈值判断，若小于设定的相似度阈值，则进行行为人检测与重识别，从而重新得到目标位置；

通过Mask预测得到下一帧中目标的目标位置框，并作为当前目标位置构建下下帧中的search区域；

构造损失函数，并迭代训练以最小化损失函数，最终得到目标跟踪模型。

3.根据权利要求1所述的跨场景目标自动识别与追踪方法，其特征在于，所述通过yolov3神经网络特征提取模型检测所跟踪的行为人，具体步骤包括：

利用yolov3神经网络的卷积层对监控场景行为人进行识别，获取图片中的目标框，实现对所检测的人物或物体进行框定；

对目标框进行多标签分类，并利用FPN网络提取目标框特征，去除掉不需要的目标框；

采用yolov3检测算法进行预测，迭代训练以最小化损失函数，最终得到yolov3特征提取模型。