[发明专利]一种使用运动信息与时序信息的改进CFNet视频目标追踪方法

权利要求书

1.一种使用运动信息与时序信息的改进CFNet视频目标追踪方法，其特征在于，包括如下步骤：

步骤1，选取训练视频数据集，并进行预处理，得到网络模型需要的训练数据集；

步骤2，将步骤1预处理后的数据输入到构建好的网络模型中，初始化历史信息特征图，使用训练好的CFNet或SiameseFC对目标下一帧位置进行估计，用估计结果计算初始化运动状态特征图；具体为：

步骤2.1，以Se-ResNext-50作为特征提取网络，构建网络模型，使用ImageNet预训练权重初始化特征提取网络权重，初始化网络模型中特征提取网络以外部分的权重，使用0对历史信息特征图进行初始化，设置模型最大训练轮数；

步骤2.2，将当前帧图片输入到网络模型中，使用CFNet或SiameseFC对目标下一帧位置进行估计，再计算获取物体的运动信息以此初始化运动状态特征图；

(1)设物体当前的位置为P_t，目标在历史帧当中的位置分别为，P_t-T，P_t-2T，则当前帧目标的速度v_t与加速度a_t可分别通过与相应历史值做一阶和二阶近似得到，T表示当前帧与所观察的下一帧的时间差；

v_t＝(P_t-P_t-T)

a_t＝(v_t-v_t-T)

(2)利用运动信息对视频下一帧目标位置进行推断，得到位移、速度、加速度的特征图；具体过程为：将下一帧图像的每个像素所在位置p_i，j与预估的物体当前的位置P_t相减，得到与P_t预估位置相关的位移特征图M_p，同理获得速度与加速度状态差的特征图M_v，M_a；

M_p(i，j)＝p_i，j-P_t

M_v(i，j)＝M_p(i，j)-v_t

M_a(i，j)＝M_v(i，j)-a_t

(3)将得到的跟踪物体位移、速度、加速度特征图在通道轴进行拼接，得到运动状态特征图M＝[M_p，M_v，M_a]，同时对过去的状态进行平滑处理：

其中，为在t时刻跟踪物体的速度，为在t时刻跟踪物体的加速度，v_j为位置为j的像素的速度，a_j为位置为j的像素的加速度；

步骤2.3，将运动状态特征图M与当前帧进行拼接，作为图像特征提取网络Se-ResNext-50的输入，得到当前帧特征图I_t；

步骤2.4，将当前帧特征图I_t，与在T时刻之前得到的历史状态特征H_t-1，同时输入到时序特征状态提取网络ConvLSTM中，得到当前时刻的状态特征H_t，ConvLSTM在接收上一状态特征H_t-1与当前帧特征图I_t后获取当前时刻状态特征H_t的方式如下：

其中，i_t为t时刻输入门特征，f_t为t时刻遗忘门特征，C_t为t时刻细胞特征，o_t为t时刻输出门特征，*表示卷积操作，表示Hadamard积，σ为Sigmoid激活函数，W_(*)为卷积核权重，W_i为输入门权重，W_ci为细胞输入门权重，W_f为遗忘门权重，W_cf为细胞遗忘门权重，W_c为细胞权重，W_xo为输出权重，W_ho为隐藏状态输出门权重，W_co为细胞输出门权重，b_(*)为偏置项，b_i为输入门偏置，b_f为遗忘门偏置，b_c为细胞偏置，b_o为输出门偏置，tanh(·)表示双曲正切函数；

步骤3，使用Se-ResNext-50对模板帧图像特征进行提取，与步骤2中得到的当前时刻状态特征H_t一起，作为相关滤波层的输入，通过相关滤波层进行匹配识别，输出匹配度最高的结果作为模型预估的跟踪目标位置；

步骤4，跟踪过程中通过步骤2与步骤3中的公式不断维护历史状态特征图与运动状态特征图，通过多尺度输入不断修正跟踪目标边界框大小，并根据模型的损失函数，采用反向传播方法，对整个网络的参数进行微调，重复步骤4，得到最后的网络模型；具体为：

步骤4.1，将步骤2得到的H_t作为下一帧的历史状态信息，将步骤3中得到的当前帧模型预估的跟踪目标位置通过步骤2的方式计算获得运动状态特征图；

步骤4.2，放大和缩小边界框，再通过双线性插值将模版帧缩放至模型要求输入的大小后输入模型；

步骤4.3，将响应值最大的尺寸与位置作为下一帧目标模版帧的边界框尺寸与预估位置；

步骤4.4，通过损失函数计算目标位置与实际位置之间的误差，并通过反向传播方法不断调整训练参数；

步骤5，将测试视频数据集输入到步骤4得到的模型中，输出结果。