[发明专利]一种基于深度特征融合与自适应相关滤波的视频目标实时跟踪方法及系统

权利要求书

1.一种基于深度特征融合与自适应相关滤波的视频目标实时跟踪方法，其特征是包括以下步骤：

步骤1、使用轻量化网络模型提取原始的多层深度特征，多层特征由深层至浅层分别具有目标的语义信息和纹理信息；

步骤2、使用基于典型相关分析的多层深度特征融合策略，得到具有高表征能力、低冗余的典型判别特征；提出基于典型相关分析的多层深度特征融合策略：将从网络中独立提取的两层深度特征映射到联合特征空间，投影成为特征向量，之后使用典型相关分析的方法计算两组特征向量的最大相关性，根据相关性生成两组典型变量，之后将两组典型变量点对点融合相加，再映射回原特征空间，形成一组典型判别特征，最后送入后续相关滤波器进行计算；

步骤3、使用基于响应值离散度分析的相关滤波器更新策略，对多层的滤波器响应图的离散程度进行计算，以适应目标的外观变化。

2.根据权利要求1所述的一种基于深度特征融合与自适应相关滤波的视频目标实时跟踪方法，其特征在于，步骤1进一步包括：

选取轻量化的VGG-M-2048深度神经网络作为深度特征提取器，从网络中提取特征时，去除最后三层全连接层，仅提取卷积层的特征，用于输入特征融合模块。

3.根据权利要求1所述的一种基于深度特征融合与自适应相关滤波的视频目标实时跟踪方法，其特征在于，步骤3进一步包括：

提出基于响应值离散度分析的相关滤波器更新策略：在逐帧跟踪的过程中计算出当前帧的相关滤波器响应图，根据响应图的信息定义变异系数，之后对变异系数在时间维度上做归一化，求取变异系数的相对偏差；当相对偏差大于阈值时，认为当前帧跟踪预测结果可靠，可以使用当前帧更新滤波器模板；当相对偏差小于阈值时，认为当前帧跟踪预测结果不可靠，仍维持历史可靠帧的滤波器模板。

4.根据权利要求1所述的一种基于深度特征融合与自适应相关滤波的视频目标实时跟踪方法，其特征在于，步骤2进一步包括：

步骤2.1、在特征提取模块得到了第三、四层卷积特征C₃,C₄∈R^13×13×512，将两组原始特征投影到二维，称为U,V，其中U,V∈R^169×512；下面考虑两组线性变换，将U,V映射到联合特征空间，得到U*和V*，其中：

U^*＝A^TU

V^*＝B^TV

步骤2.2、使用皮尔逊相关系数来测量U*和V*之间的相关性，找到矩阵A与B的最优解以最大化相关系数：

其中cov(*)表示协方差，var(*)表示方差；

步骤2.3、定义U,V的协方差矩阵：

步骤2.4、将典型相关分析的目标就可以转化为一个凸优化问题：

s.t.A^TS_UUB＝1,B^TS_VVA＝1

步骤2.5、使用拉格朗日乘子法来求解上述优化问题，得到下式：

步骤2.6、对上式进行特征分解，找到最大特征值并求平方根，得到对应于最大特征值矩阵的特征向量A和B，即U和V的变换矩阵；其中λ表示对角特征值矩阵，具有d个非零特征值，且d＝Rank(S_UV)；得到A、B之后，返回步骤2.1求得典型变量U*、V*；将典型变量进行点对点的相加，在联合特征空间中融合：

Z＝U^*+V^*

其中Z,U^*,V^*∈R^169×d，最后将Z映射回原始特征空间，得到典型判别特征F，其中F∈R^13×13×d，至此完成特征融合。