[发明专利]一种基于双流注意力机制的多模态监控视频目标跟踪方法

权利要求书

1.一种基于双流注意力机制的多模态监控视频目标跟踪方法，其特征在于，包括以下步骤：

S1、从监控视频数据中筛选出匹配的可见光-红外视频对，将视频对按照同一帧率保存为图像对获得输入样本；选取出图像对中代表第一帧的图像作为匹配图像，在匹配图像中将需要跟踪的目标用矩形框进行框选，后续帧的图像作为搜索图像；将输入样本记作N_j表示第j类样本的数量，表示可见光数据，表示红外数据；样本标签记作表示可见光数据标签，表示红外数据标签；

S2、构建神经网络，包括双流特征提取网络、多模态融合网络和跟踪网络；

所述双流特征提取网络包括两个结构相同分支，分别为匹配分支和搜索分支，匹配分支和搜索分支均分别对可见光图像和红外图像进行特征提取，具体为采用三个级联的transformer block进行特征提取；

所述多模态融合网络用于对双流特征提取网络提取的特性进行融合，具体为：定义双流特征提取网络中匹配分支的三个transformer block输出分别为(X_1V，X_1T)，(X_2V，X_2T)，(X_3V，X_3T)，定义搜索分支的三个transformer block输出分别为(Z_1V，Z_1T)，(Z_2V，Z_2T)，(Z_3V，Z_3T)；多模态融合网络分别获取每一个transformer block的输出并进行融合得到：

X₁＝cat(X_v1、X_t1)

X₂＝cat(X_v2、X_t2)

X₃＝cat(X_v3、X_t3)

Z₁＝cat(Z_v1、Z_t1)

Z₂＝cat(Z_v2、Z_t2)

Z₃＝cat(Z_v3、Z_t3)

其中，cat表示对图像进行通道融合；

再进行相关性计算得到相似度矩阵Sⁱ：

S_i＝corr(Z_i，X_i)，i＝1，2，3

其中，corr表示相似度计算，即将尺寸较小的匹配图像Z_i作为卷积核对X_i进行卷积操作的过程；

对相似度矩阵进行拼接，得到包含多尺度信息的相似度矩阵S：

S＝cat(S_i)

S＝downsample(S)

其中，downsample表示降采样，将S投影到适合跟踪的维度空间，

所述跟踪网络包括三个分支，分别为：

分类损失分支，预测目标的中心位置：

其中，y_t表示第t个样本的锚框真实标签，y_t＝1表示该锚框表示前景；m_t表示该锚框是前景的概率；

回归损失分支，预测目标框四条边到中心点的距离：

其中，bbox表示预测框的大小，用四条边框和中心的距离表示，(i，j)表示S上的点；

中心损失分支，抑制中心点漂移：

其中，d_t表示的是第j个中心位置的得分，σ表示sigmoid激活函数，c_t和预测位置与中心位置的距离成正比；

跟踪网络的总损失为：

L＝L_cls+η₁L_reg+η₂L_cen

其中，η₁和η₂是设定的超参数；

S3、采用S1的输入样本对S2构建的神经网络进行训练，具体为：将M^train划分为匹配图像对和搜索图像对作为神经网络的输入(X_v，X_t)和(Z_v，Z_t)，其中(Z_v，Z_t)为匹配分支的输入，是从视频序列M^train中随机选取的某一帧；(X_v，X_t)为搜索分支的输入，选取方式为，在选择了匹配分支图像之后，从匹配分支图像之后的图像对中选取，记作(X_v，X_t)；设置学习率为0.0005，通过损失函数反向传播来修正网络的权重，直至网络基本收敛，得到训练好的神经网络；

S4、利用训练好的神经网络进行目标跟踪，具体为：手动选取需要跟踪的目标，生成第一帧图像的标签，将含有标签的图像序列输入训练好的神经网络，得到目标中心的位置和目标的大小。