[发明专利]一种基于CNN和CF的多模板目标跟踪方法

摘要

本发明公开了一种基于CNN和CF的多模板目标跟踪方法，本发明中提出利用若干固定的尺度值的方法，在求解卷积操作前先将模板归一化大小，然后在得到最大响应值之后反推出最合适的尺度；虽然在现有的DSST算法中，采用将三维空间最优尺度搜索分解为在二维空间搜寻最佳位置，在一维空间内搜索最优尺度的机制，但是迭代慢并且计算复杂度高；而针对实无人机平台运动随意，速度不定等特点，采用固定尺度值的方法，不仅满足跟踪算法需要，而且满足运算的实时性；特征提取阶段，将这两种特征进行分别提取，并训练出两组不同的滤波器，根据当前目标的外观和背景变化，设定不同权重，进行目标的外观表征。然后将通过不同特征得到的结果进行融合，得到跟踪结果。

主权项

1.一种目标跟踪方法，其特征在于，具体步骤包括：/n步骤一、首先通过开源的3D模型数据集TurboSquid获取目标的三维模型，通过对模型的三维旋转和放缩得到不同视角下的目标图片；然后通过卷积神经网络，离线训练得到不同视角下的目标图片与视角信息之间的对应关系；/n步骤二、在目标跟踪过程中，对于当前帧图像t，首先在目标区域内提取特征信息，然后利用特征信息计算得到相关滤波器的参数；当得到下一帧图像t+1的信息后，首先在下一帧图像t+1中提取特征，然后与图像t的相关滤波器参数进行卷积运算，在卷积后的结果中找最大的响应值，该最大响应值对应的位置与卷积运算结果的中心点之间的矢量即为目标的运动矢量信息；目标的运动矢量信息与当前帧目标的位置叠加得到目标在下一帧图像t+1的位置；/n步骤三、依次将当前帧图像t的目标大小乘以不同尺度值，得到对应的多个尺寸，根据每个尺寸，在步骤二中得到的目标在下一帧图像t+1的位置，对图像t+1分别进行切片，得到大小不同的图像片，再将这些图像片归一化成最初的目标大小；将归一化后的图像进行特征提取，再将该特征与步骤二中计算得到的相关滤波器进行卷积运算，将每一个尺度下的卷积结果中的最大响应值作为该尺度下的响应值；然后寻找不同尺度下的最大响应值，其对应的尺度作为当前目标的尺度大小；/n步骤四、步骤二相关滤波器卷积后的结果中，以最大响应值的位置为中心，其附近的11×11的区域内响应值求平均值作为信号处理中的峰值响应值，将目标区域内其余部分的平均响应值看作旁瓣响应值，将当前峰值响应值与旁瓣响应值的比值作为PSR值；判断PSR值是否低于设定阈值：如果是，则说明需要重检，执行步骤五；如果否，则说明不需要重检，步骤二得到的位置信息和步骤三得到的尺度大小为本轮目标跟踪的结果，并作为当前帧结果，返回步骤二继续跟踪目标；/n步骤五、在图像t+1之前的图像中寻找PSR值高于设定阈值时的跟踪的图像结果，将其作为数据输入到步骤一已经训练好的卷积神经网络中，得到目标此刻对应的视角信息；/n步骤六、在步骤五得到目标的视角信息后，利用步骤一中的三维模型，经过视角旋转后还原得到当前时刻的目标图像；对还原后的目标图像重新进行特征提取，并训练特征对应的相关滤波器，然后利用此相关滤波器参数与图像t+1进行卷积运算，寻找响应的最大值作为目标位置；根据步骤三的方法，利用还原后的目标图像得到图像t+1的尺度大小，将本步骤得到的目标位置和尺度大小作为当前帧结果，返回步骤二继续跟踪目标，直到视频结束。/n