[发明专利]基于自适应卷积的跨模态视觉跟踪方法及装置

权利要求书

1.一种基于自适应卷积的跨模态视觉跟踪方法，其特征在于，用于利用跟踪模型实现目标跟踪，所述方法包括：

获取可见光图像和热红外图像，并将所述可见光图像和所述热红外图像进行融合，得到初始特征图；

分别对所述可见光图像、所述热红外图像和所述初始特征图进行特征提取，得到所述可见光图像的特征图、所述热红外图像的特征图以及所述初始特征图的子特征图；

将所述可见光图像的特征图、所述热红外图像的特征图以及所述初始特征图的子特征图进行自适应卷积融合，得到第一融合特征图，并将所述第一融合特征图分别与所述可见光图像的特征图及所述热红外图像的特征图进行自适应卷积融合，得到第二融合特征图和第三融合特征图；

对所述第一融合特征图、所述第二融合特征图以及所述第三融合特征图进行融合，得到双模态增强特征图；

对所述双模态增强特征图进行双线性插值计算，生成校准特征图；

基于所述校准特征图，预测所述多模态视频中当前帧的目标位置。

2.如权利要求1所述的基于自适应卷积的跨模态视觉跟踪方法，其特征在于，所述方法还包括：

在一对配准的多模态视频中获取一对第一帧图像，并分别以两个所述第一帧图像真值框的中心点为均值进行高斯分布采样，产生候选样本，所述候选样本包括所述可见光图像和所述热红外图像，供所述跟踪模型获取。

3.如权利要求1所述的基于自适应卷积的跨模态视觉跟踪方法，其特征在于，所述将所述可见光图像和所述热红外图像进行融合，得到初始特征图，包括：

将所述可见光图像和所述热红外图像拼接在一起后进行卷积操作，得到所述初始特征图。

4.如权利要求1所述的基于自适应卷积的跨模态视觉跟踪方法，其特征在于，所述对所述第一融合特征图、所述第二融合特征图以及所述第三融合特征图进行融合，得到双模态增强特征图，包括：

分别对所述第一融合特征图、所述第二融合特征图和所述第三融合特征图进行特征提取，得到所述第一融合特征图的子特征图、所述第二融合特征图的子特征图和所述第三融合特征图的子特征图；

将所述第一融合特征图的子特征图、所述第二融合特征图的子特征图和所述第三融合特征图的子特征图进行自适应卷积融合，得到第四融合特征图，并将所述第四融合特征图分别与所述第二融合特征图的子特征图及所述第三融合特征图的子特征图进行自适应卷积融合，得到第五融合特征图和第六融合特征图；

分别对所述第四融合特征图、所述第五融合特征图和所述第六融合特征图进行特征提取后并进行自适应卷积融合，得到所述双模态增强特征图。

5.如权利要求1所述的基于自适应卷积的跨模态视觉跟踪方法，其特征在于，所述对所述双模态增强特征图进行双线性插值计算，生成校准特征图，包括：

利用自适应候选区域校准层对所述双模态增强特征图使用双线性插值计算，生成特征图；

利用最大池化层对所述特征图进行处理，生成所述校准特征图。

6.如权利要求1所述的基于自适应卷积的跨模态视觉跟踪方法，其特征在于，所述基于所述校准特征图，预测所述多模态视频中当前帧的目标位置，包括：

利用全连接层对所述校准特征图进行处理，得到所述多模态视频中当前帧的目标位置；

其中，所述全连接层包括依次连接的三个全连接模块，前两个所述全连接模块后加入神经元随机激活函数，最后一个所述全连接模块包含Softmax层。

7.如权利要求1-6任一项所述的基于自适应卷积的跨模态视觉跟踪方法，其特征在于，所述自适应卷积融合的过程包括：

将待融合的图像进行拼接后，依次经卷积核、线性整流函数、批处理标准化、Sigmoid激活函数生成与待融合的图像对应的张量；

将各对应的张量逐个位置使用归一化指数函数获得待融合的图像对应的权重张量；

将各所述权重张量与对应的所述待融合的图像进行相乘并相加，得到自适应卷积融合的结果。