[发明专利]一种基于常识和记忆网络的长期目标运动跟踪方法

权利要求书

1.一种基于常识和记忆网络的长期目标运动跟踪方法，其特征在于，其步骤如下：

步骤一：利用人工标注的方式标注出视频序列中的第一帧图像的目标图像块并利用VGG16深度网络提取目标图像块的深度特征；

步骤二：初始化单层记忆网络，利用目标图像块的深度特征对单层记忆网络进行训练获得初始卷积滤波器w；

步骤三：在第一帧图像中选取一个比目标图像块大的图像块X'，且图像块X'与目标图像块的中心重合，并利用VGG16深度网络提取的图像块X'的深度特征对单层记忆网络进行训练获得卷积滤波器w'，根据卷积滤波器w'获得目标图像的通道重要性参数；

步骤四：在当前帧图像中截取一个比目标图像块大的搜索图像块且搜索图像块与上一帧图像的目标图像的中心重合，计算搜索图像块与目标图像块的响应图，根据响应图中的最大响应值对应的当前帧图像的图像块作为基本跟踪器的预测结果；

步骤五：将基本跟踪器的预测结果输入步骤二中训练后的单层记忆网络中，输出第一次预测结果的响应矩阵，判断第一次预测结果的响应矩阵中响应值的最大值是否大于阈值β，若是，将基本跟踪器的预测结果作为当前帧的跟踪结果，并利用第一次预测结果对步骤二中的单层记忆网络进行训练更新初始卷积滤波器w，返回步骤四进行下一帧图像的跟踪,否则，执行步骤六；

步骤六：根据常识信息和步骤二中的通道重要性参数获得当前帧图像的语义目标感知特征图像集；

常识信息是指基于现实世界中目标运动前后时刻的尺度不会发生巨大的变化；

具体实现方法如下：

S61、利用边缘检测方法Edge Boxes从当前帧图像中生成检测图像块集合及检测图像块对应的客观物体得分，将客观物体得分小于阈值th的检测图像块过滤掉，得到初步图像块集合：

其中，表示第t帧图像的检测图像块集合，表示第t帧图像第i₀个检测图像块，i₀＝1,2,…,max表示检测图像块的序号，max为检测图像块的数量，C_b表示检测图像块的客观物体得分，th为检测图像块阈值，为第t帧图像的初步建议框集合，t为图像的帧索引；

S62、利用常识信息对初步图像块集合进行筛选，得到候选图像块集合：

其中，表示第t帧图像的候选图像块集合，τ₁和τ₂均为常识约束信息，表示第t帧图像的初步图像块的宽，表示第t帧图像的初步图像块的高，i₁＝1,2,…,n表示初步图像块的序号，n表示初步图像块的数量，表示第t-1帧图像的初步图像块的宽，表示第t-1帧图像的初步图像块的高；

S63、利用VGG16深度网络提取候选图像块集合中的每一个候选图像块的深度特征，根据深度特征提取语义感知特征：

其中，为第t帧图像的候选图像块的语义感知特征，为第t帧图像的候选图像块的深度特征，i₂＝1,2,…,n'表示候选图像块的序号，n'表示候选图像块的数量，为感知特征提取函数，Δ为通道重要性参数，★为两个深度特征图之间的互相关操作；

S64、根据语义感知特征计算候选图像块集合中的每一个候选图像块的语义感知得分：

其中，表示第t帧图像的候选图像块的语义感知得分；

S65、根据每一个候选图像块的语义感知得分的高低对候选图像块进行排序，选取前Q个候选图像块作为当前帧图像的语义目标感知特征图像集

步骤七：利用语义目标感知特征图像集对当前帧图像进行目标定位，获得第二次预测结果的响应矩阵，判断第二次预测结果的响应矩阵的最大响应值是否大于阈值β，若是，将第二次预测结果对应的语义目标感知特征图像集中的图像块作为当前帧的跟踪结果，否则，将基本跟踪器的预测结果作为当前帧的跟踪结果；

步骤八：输出当前帧的跟踪结果，判断当前帧图像是否为最后一帧图像，若是，输出每一帧图像的跟踪结果，实现运动目标的跟踪，否则，返回步骤四进行下一帧图像的跟踪。