[发明专利]基于深度SR-KCF滤波的光学遥感视频目标跟踪方法

摘要

本发明提出了一种基于深度SR‑KCF滤波的光学遥感视频目标跟踪方法，用于在保证跟踪速度的基础上提高跟踪精度，实现步骤为：获取目标检测网络R‑FCN的训练集；训练目标检测网络；优化目标跟踪算法KCF，得到SR‑KCF；设定目标跟踪算法SR‑KCF中目标状态的判断条件；构建检测辅助跟踪算法；设定跟踪目标与检测目标的匹配条件；获取光学遥感视频第一帧图像包含目标的信息；获取光学遥感视频第二帧及以后图像包含目标的信息；输出光学遥感视频目标跟踪结果。本发明运用深度学习可以提取到目标更高级的特征，在相关滤波算法KCF中添加了背景抑制因子和稀疏响应因子，有效提高了提高跟踪精度。

主权项

1.一种基于深度SR‑KCF滤波的光学遥感视频目标跟踪方法，其特征在于，包括如下步骤：(1)获取目标检测网络R‑FCN的训练集D1：(1a)从数据库中获取F帧包含静止目标和运动目标，且大小为S×S×3的光学遥感视频，并从其中每隔F1帧选取一帧图像，再对选取的图像进行编号，得到图像集D，其中，F1＜F，D＝{I1,I2,...,Ii,...In}，Ii表示D中的第i帧图像，n表示D中图像的个数；(1b)对Ii中的运动目标和静止目标进行标记，得到Ii对应的标签Li，并将D和L组合得到训练集D1，其中，Li∈{cl,(xl,yl),(wl,hl)}，cl表示Ii中第l个目标的类别，(xl,yl)表示Ii中第l个目标的左上角坐标，(wl,hl)表示Ii中第l个目标的宽度和高度；(2)训练目标检测网络R‑FCN：采用D1训练目标检测网络R‑FCN，得到预训练模型P1；(3)优化目标跟踪算法KCF：将背景抑制因子和稀疏响应因子添加到目标跟踪算法KCF，实现对KCF的优化，得到目标跟踪算法SR‑KCF：其中，A₀表示目标跟踪算法KCF的训练样本，y表示A₀的标签，ω表示权重系数，λ₁、λ₂和λ₃分别表示和的权重系数，k表示提取的目标候选块的个数，||·||₂表示取2‑范数；(4)设定目标跟踪算法SR‑KCF中目标状态的判断条件Q：其中，ε∈[0.5,1]，(x'fj,y'fj)表示第f帧中第j个目标的中心位置坐标，(x′(f‑1)k,y′(f‑1)k)表示第f‑1帧中第k个目标的中心位置坐标；(5)构建检测辅助跟踪算法MSDAT：其中，(x'_j,y'_j)表示运用SR‑KCF所跟踪的目标的中心位置坐标，(x′_t,y′_t)表示运用P1所检测的目标的中心位置坐标，t表示P1所检测到的第t个目标，s₀表示(x′_t,y′_t)和(x'_j,y'_j)的匹配输出值；(6)设定跟踪目标与检测目标的匹配条件l：其中，σ∈[0.5,1]，c'j表示经P1所检测的目标的类别，cj表示SR‑KCF所跟踪的目标的类别；(7)获取光学遥感视频第一帧图像包含目标的信息：运用P1对待处理的N帧光学遥感视频的第一帧图像进行目标检测，得到第一帧图像所包含目标的类别和位置信息J1，J1＝{c1r,(x1r,y1r),(w1r,h1r)}，N≥2；(8)获取光学遥感视频第二帧到第N帧图像包含目标的信息：(8a)将Jf‑1输入到SR‑KCF中对第f帧图像进行目标跟踪，得到第f帧图像所包含目标的类别和位置信息Jf、响应值Rfj以及最大响应值Rmaxj，Jf＝{cfj,(xfj,yfj),(wfj,hfj)}，Rfj＝ωTAfij，Rmaxj＝max(R2j,R3j,...,Rfj)，f∈[2,...,N]；(8b)根据第f帧图像包含的第j个目标的中心位置坐标(x'fj,y'fj)和第f‑1帧图像包含的第k个目标的中心位置坐标(x′(f‑1)k,y′(f‑1)k)是否满足Q，判断第j个目标的状态Zf，若是，则第j个目标的状态Zf为静止Zfj，否则，则第j个目标的状态Zf为运动Z'fj；(8c)判断是否成立，若是，则第f帧图像所包含目标j存在跟踪延迟，运用P1对第f帧图像进行目标检测，得到第f帧图像所包含目标的类别信息和位置信息J_fr，否则，第f帧图像所包含目标j不存在跟踪延迟，第f帧图像所包含目标j的类别和位置信息保持J_fj不变；(8d)将Jfj中第j个目标的位置信息换算成其中心位置坐标(x'fj,y'fj)，同时将Jfr中第r个目标的位置信息换算成其中心位置坐标(x'fr,y'fr)，并将(x'fj,y'fj)和(x'fr,y'fr)输入到MSDAT中对第f帧进行辅助检测，得到Jfj中第j个目标的和Jfr中第r个目标的匹配输出值s0jr，再判断s0jr、cfj和cfr是否符合条件l，若是，第j个目标的类别和位置信息Jf为Jfr，否则，第j个目标的类别和位置信息Jf为Jfj；(9)输出光学遥感视频目标跟踪结果：将步骤(7)获取的J1、步骤(8b)获取的Zf和步骤(8d)获取的Jf作为光学遥感视频目标跟踪结果并输出。