[发明专利]基于调制器的自适应回归跟踪方法

权利要求书

1.一种基于调制器的自适应回归跟踪方法，其特征在于所述方法包括如下步骤：

步骤一、设计基于注意力的时空上下文网络，生成与时空上下文对应的仿射参数，具体步骤如下：

(1)设计基于注意力的时空上下文网络，所述时空上下文网络包括3个PMD单元及其相应的注意力融合模块，其中：每个PMD单元的LSTM中的核大小为3×3，隐状态单元设置为64，且初始状态设置为0，每个PMD单元包含5个方向的长短时记忆，分别是时间方向、右方向、左方向、上方向和下方向；

(2)将各方向的信息融合得到S:

S＝[s^t-,s^h-,s^h+,s^w-,s^w+]^T；

其中，s^t-、s^h-、s^h+、s^w-、s^w+分别表示时间方向、下方向、上方向、左方向和右方向；

之后，通过注意力融合模块对S中的信息进行融合：

其中，S′和S”分别表示通道注意力特征和空间注意力特征，是1维的通道注意力图，是2维的空间注意力图，是按位相乘操作；

(3)将S”输入1×1的卷积层获得与时空上下文对应的仿射参数g_c；

步骤二、设计轨迹网络，产生与轨迹对应的仿射参数，具体步骤如下：

(1)设计轨迹网络，所述轨迹网络由3个核大小为3×3的卷积层组成，每个卷积层的输出分别为128、128和64，在卷积层之间添加ReLU激活层提高特征表示的非线性，之后，使用6个1×1的卷积层生成b_c的下采样；

(2)将运动先验设计为前一帧中目标的预测位置，将前一帧的轨迹表示为轨迹高斯图；

(3)将轨迹高斯图下采样到不同的尺度，然后使用不同尺度的轨迹高斯图生成对应条件层的b_c：

其中，M_t表示下采样的轨迹高斯图，和是通过1×1的卷积学习到的尺度和偏移参数，b_c为与轨迹对应的仿射参数；

步骤三、将步骤一和步骤二产生的两种参数融入到通用回归网络的各层参数中，自适应地调整通用回归网络的参数，使其对特定目标具有较高的响应，其中：使用在ImageNet上预训练的VGG-16模型作为特征提取器，回归模型通过融合conv4_3和conv5_3的特征表示计算得到目标位置的高斯图，将CBN层分别添加在conv4_1到conv5_3之间的6个卷积层之后，各层的CBN参数来自时空上下文网络的g_c和轨迹网络b_c。