[发明专利]基于多策略融合树的可见光红外视觉跟踪方法

权利要求书

1.一种基于多策略融合树的可见光红外视觉跟踪方法，其特征在于，所述方法包括：

获取可见光图像样本和热红外图像样本；

将所述可见光图像样本和所述热红外图像样本输入至预先训练好的目标跟踪网络模型，其中，所述目标跟踪网络模型包括可见光模态适配器、热红外模态适配器、融合树网络和实例适配器，所述可见光模态适配器、所述热红外模态适配器和所述融合树网络均包括多个网络层级；

将所述可见光图像样本作为所述可见光模态适配器和所述融合树网络的输入，所述融合树网络当前层级的输出特征与所述可见光模态适配器当前层级的输出特征进行矩阵相加融合后传入所述可见光模态适配器的下一层级网络中；

将所述热红外图像作为所述热红外适配器和所述融合树网络的输入，所述融合树网络当前层级的输出特征与所述热红外模态适配器当前层级的输出特征进行矩阵相加融合后传入所述热红外模态适配器的下一层级网络中；

将所述可见光模态适配器最后一层级输出的模态特征图与所述热红外模态适配器最后一层级输出的模态特征图进行拼接，得到拼接特征图；

将所述拼接特征图输入所述实例适配器，预测目标跟踪结果。

2.如权利要求1所述的基于多策略融合树的可见光红外视觉跟踪方法，其特征在于，所述可见光模态适配器和所述热红外模态适配器均包括n个层级的适配网络，其中，上一层级的适配网络的输出作为下一层级的适配网络的输入；

所述可见光模态适配器中最后一层级的适配网络的输出与所述热红外模态适配器最后一层级的适配网络的输出经拼接后作为所述实例适配器的输入。

3.如权利要求2所述的基于多策略融合树的可见光红外视觉跟踪方法，其特征在于，前(n-1)个所述适配网络包括依次连接卷积函数、最大池化函数、局部响应归一化函数以及激活函数；最后一层级的适配网络包括依次连接的卷积函数和激活函数，n≥2且为整数。

4.如权利要求2所述的基于多策略融合树的可见光红外视觉跟踪方法，其特征在于，所述融合树网络包括n个层级的分支网络，其中，所述可见光图像样本和所述热红外图像样本均作为第一个层级的分支网络的输入，第一个层级的分支网络的输出作为第二层级的分支网络的输入；剩余层级的分支网络中，上一层级的分支网络的输出与下一层级的分支网络的输入之间连接有聚合模块；

所述融合树网络中当前层级的分支网络的输出特征与所述可见光模态适配器中当前层级的适配网络的输出特征经矩阵相加操作后作为所述可见光模态适配器中下一层级的适配网络的输入；

所述融合树网络中当前层级的分支网络的输出特征与所述热红外模态适配器中当前层级的适配网络的输出特征经矩阵相加操作后作为所述热红外模态适配器中下一层级的适配网络的输入。

5.如权利要求4所述的基于多策略融合树的可见光红外视觉跟踪方法，其特征在于，第n个层级的所述分支网络包括3^(n-1)个分支，第一个层级所述分支网络中的一个分支的起点连接一通用适配器，分支上设置有通道注意力模块作为叶子节点，第(n-1)个层级所述分支网络中每三个分支的起点连接一通用适配器，通道注意力模块、空间注意力模块和位置注意力模块分别设置于三个分支作为叶子节点；

上一层级所述分支网络中的分支的终点连接下一层级所述分支网络中的通用适配器。

6.如权利要求5所述的基于多策略融合树的可见光红外视觉跟踪方法，其特征在于，所述通用适配器采用模态共享卷积函数，用于提取所述可见光图像样本和所述热红外图像样本的共有特征。

7.如权利要求1所述的基于多策略融合树的可见光红外视觉跟踪方法，其特征在于，所述实例适配器包括带有神经远随机激活的第一全连接层、第二全连接层和一个带有softmax层的第三连接层；

第一全连接层和第二全连接层均接有激活函数，第一全连接层、第二全连接层和第三连接层依次连接。

8.如权利要求1所述的基于多策略融合树的可见光红外视觉跟踪方法，其特征在于，所述聚合模块包括依次连接的卷积函数和局部响应归一化函数。