[发明专利]一种基于阴影Video-SAR中感兴趣目标跟踪方法

权利要求书

1.一种基于阴影Video-SAR中感兴趣目标跟踪方法，其特征是它包括以下步骤：

步骤1、准备数据集

从经典桑迪亚国家实验室数据集中得到桑迪亚国家实验室数据集，以时间顺序按照751：148的比例将桑迪亚国家实验室数据集划分为两部分，得到训练集和测试集，其中训练集含有前751张图片，记为Train，测试集含有后148张图片，记为Test；

步骤2、数据预处理

采用传统图像裁剪与尺度变换方法对当前帧图像进行处理，得到的处理结果记为检测区域x，采用传统图像裁剪与尺度变换方法对上一帧图像进行处理，得到的处理结果记为模板区域z，即采用传统图像裁剪与尺度变换方法，对步骤1中得到的训练集Train进行处理，得到网络输入图片对(模板区域，检测区域)，记为(z，x)；

步骤3、构建孪生子网络

步骤3.1：构建模板分支

采用经典的卷积神经网络方法建立ResNet50网络，得到标准的ResNet50网络，即模板分支,记为CNN-1；至此，模板分支建立完毕；

步骤3.2：构建搜索分支

采用经典的卷积神经网络方法建立ResNet50网络，得到标准的ResNet50网络，即搜索分支，记为CNN-2；至此，搜索分支建立完毕；

步骤3.3：特征提取

对于步骤3.1中构建的模板分支CNN-1 和步骤3.2中的搜索分支CNN-2，采用经典的孪生网络构建方法，构建孪生子网络，得到孪生子网络，记为Siamese Subnetwork；

对于步骤3.1中构建的模板分支对步骤2中得到的模板区域z，采用经典的CNN特征提取方法，进行特征提取，得到模板分支的输出结果，记为

对于步骤3.2中构建的搜索分支对步骤2中得到的检测区域x，采用经典的CNN特征提取方法，进行特征提取，得到搜索分支的输出结果，记为

步骤4、构建第一个指导锚子网络

步骤4.1：预测锚位置

采用经典的卷积操作方法对步骤3.3中的模板分支输出结果和步骤3.3中的搜索分支输出结果进行卷积操作，得到锚位置预测结果，记为a_loc；

采用focal loss损失函数对锚位置预测结果a_loc进行处理，得到位置损失结果，记为aloc_loss；

步骤4.2：预测锚形状

采用经典的卷积神经网络方法创建卷积核，得到卷积核，记为C1；

采用卷积核尺寸设置方法，设置卷积核C1的尺寸为3×3×256；

采用经典的卷积操作方法对卷积核C1和步骤3.3中的搜索分支输出结果进行卷积操作，得到锚形状预测结果，记为a_shape；

采用SmoothL1 Loss损失函数方法对锚形状预测结果a_shape进行处理，得到形状损失结果，记为ashape_loss；

步骤4.3：调整特征图

采用经典的卷积神经网络方法创建可变形卷积核，得到可变形卷积核，记为D1；

采用卷积核尺寸设置方法，设置卷积核D1的尺寸为3×3×256；

采用经典的卷积操作方法对卷积核D1和步骤3.3中的搜索分支输出结果进行卷积操作，得到特征图调整结果，记为F1；

至此，第一个指导锚子网络建立完毕，得到的指导锚子网络，记为GA-Subnet1；

步骤5、构建第二个指导锚子网络

步骤5.1：预测锚位置

采用经典的卷积操作方法对步骤3.3中的模板分支输出结果和步骤3.3中的搜索分支输出结果进行卷积操作，得到锚位置预测结果，记为b_loc；

采用focal loss损失函数方法对锚位置预测结果b_loc进行处理，得到位置损失结果，记为bloc_loss；

步骤5.2：预测锚形状

采用经典的卷积神经网络方法创建卷积核，得到卷积核，记为C2；

采用卷积核尺寸设置方法，设置卷积核C2的尺寸为3×3×256；

采用经典的卷积操作方法对卷积核C2和步骤3.3中的搜索分支输出结果进行卷积操作，得到锚形状预测结果，记为b_shape；

采用SmoothL1 Loss损失函数方法对锚形状预测结果b_shape进行处理，得到形状损失结果，记为bshape_loss；

步骤5.3：调整特征图

采用经典的卷积神经网络方法创建可变形卷积核，得到可变形卷积核，记为D2；

采用卷积核尺寸设置方法，设置卷积核D2的尺寸为3×3×256；

采用经典的卷积操作方法对卷积核D2和步骤3.3中的搜索分支输出结果进行卷积操作，得到特征图调整结果，记为F2；

至此，第二个指导锚子网络建立完毕，得到的指导锚子网络，记为GA-Subnet2；

步骤6、构建相似性学习子网络

步骤6.1：构建分类模块

采用经典的卷积神经网络方法构建卷积核，得到2类卷积核，分别记为C3，C4；

采用卷积核尺寸设置方法，设置卷积核C3的尺寸为3×3×256，设置卷积核C3的数量为2k，其中k是步骤4.1中得到的锚位置预测结果a_loc中锚的数量；

采用卷积核尺寸设置方法，设置卷积核C4的尺寸为3×3×256；

采用经典的卷积操作方法对卷积核C3和步骤3.3中的搜索分支输出结果进行卷积操作，得到卷积结果，记为DC1；

采用经典的卷积操作方法对卷积核C4和步骤4.3中的特征图调整结果F1进行卷积操作，得到卷积结果，记为DC2；

采用经典的卷积操作方法对卷积结果DC1和卷积结果DC2进行卷积操作，得到卷积结果，记为A_cls；

步骤6.2：构建回归模块

采用经典的卷积神经网络方法创建卷积核，得到2类卷积核，分别记为C5，C6；

采用卷积核尺寸设置方法，设置卷积核C5的尺寸为3×3×256，设置卷积核C5的数量为4k，其中k是步骤4.1中得到的锚位置预测结果b_loc中锚的数量；

采用卷积核尺寸设置方法，设置卷积核C6的尺寸为3×3×256；

采用经典的卷积操作方法对卷积核C5和步骤3.3中的搜索分支输出结果进行卷积操作，得到卷积结果，记为DC3；

采用经典的卷积操作方法对卷积核C4和步骤5.3中的特征图调整结果F2进行卷积操作，得到卷积结果，记为DC4；

采用经典的卷积操作方法对卷积结果DC3和卷积结果DC4进行卷积操作，得到卷积结果，记为A_reg；

指导锚孪生网络由步骤3中构建的孪生子网络、步骤4和步骤5构建的指导锚子网络、步骤6构建的相似性学习子网络构建指导锚孪生网络组成，至此完成了指导锚孪生网络的搭建；

步骤7、建立目标跟踪模型

将步骤1中得到的训练集Train作为输入，在步骤6所完成的指导锚孪生网络上采用经典的Adam算法进行训练，训练完成后得到目标跟踪模型，记为GASN；

步骤8、测试目标跟踪模型

在步骤7中得到的目标跟踪模型GASN上，采用标准的目标跟踪模型测试方法对步骤1中得到的测试集Test进行测试，得到测试集Test在目标跟踪模型GASN上的测试结果，记为Result；

步骤9、评估目标跟踪模型

以步骤8中得到的目标跟踪模型GASN的测试结果Result作为输入，采用标准的跟踪精度计算方法，求出跟踪精度，记为Accuracy；

以步骤8中得到的目标跟踪模型GASN的测试结果Result作为输入，采用标准的中心点误差计算方法，求出中心点误差，记为CLE；

以步骤8中得到的目标跟踪模型GASN的测试结果Result作为输入，采用标准的跟踪速度计算方法，求出跟踪速度，记为FPS；

至此，整个方法结束。