[发明专利]一种基于多适配器的可见光红外视觉跟踪方法及装置

权利要求书

1.一种基于多适配器的可见光红外视觉跟踪方法，其特征在于，所述方法包括：

1)、预先构建由可见光模态适配器、通用适配器、热红外模态适配器以及实例适配器的初始识别模型，其中，可见光模态适配器中的每个第一卷积层均与通用适配器中的对应次序的第二卷积层并联；红外光模态适配器中的每个第三卷积层均与通用适配器中的对应次序的第二卷积层并联；所述实例适配器包括若干个串联的全连接层，其中，所述可见光模态适配器中包含的若干层第一卷积层中的首个第一卷积层接收可见光图像，并将特征提取后的得到的数据输入到通用适配器中；第一卷积层中除首个第一卷积层以外的其他第一卷积层接收通用适配器中的第二卷积层的输出，并对所述第二卷积层的输出进行特征提取后将特征提取后的数据输出至通用适配器中；

红外光模态适配器中包含的若干层第三卷积层中的首个第三卷积层接收热红外光图像，并将特征提取后的得到的数据输入到通用适配器中；第三卷积层中除首个第三卷积层以外的其他第三卷积层接收通用适配器中的第二卷积层的输出，并对所述第二卷积层的输出进行特征提取后将特征提取后的数据输出至通用适配器中；

通用适配器中包含的若干层第二卷积层中的首个第二卷积层接收可见光以及热红外光图像，对所接收的图像进行特征提取处理，将可见光图像对应的特征提取后的数据与对应次序的第一卷积层输出的特征提取后的数据进行数据融合处理，得到融合后的针对可见光图像的数据并输出至下一个第二卷积层；将热红外图像对应的特征提取后的数据与对应次序的第三卷积层输出的特征提取后的数据进行数据融合处理，得到融合后的针对热红外图像的数据并输出至下一个第二卷积层；

第二卷积层中除首个第二卷积层以外的其他第二卷积层将接收上一个第二卷积层输出的针对可见光图像的数据与对应次序的第一卷积层输出的特征提取后的数据进行数据融合处理，并将融合得到的数据输出至下一个第二卷积层；第二卷积层中除首个第二卷积层以外的其他第二卷积层将接收上一个第二卷积层输出的针对热热红外光图像的数据与对应次序的第三卷积层输出的特征提取后的数据进行数据融合处理，并将融合得到的数据输出至下一个第二卷积层；

通用适配器中还包括关联函数，所述关联函数将最后一个第二卷积层输出的针对可见光图像的融合后数据与针对热热红外光图像的融合后的数据进行关联处理，并输出至所述实例适配器中；

2)、使用预先标定好目标的样本视频训练所述初始识别模型，得到训练后的识别模型，其中，样本视频包括：若干个可见光-热红外光样本视频对；

3)、使用训练后的初始识别模型跟踪待识别视频中的待识别目标。

2.根据权利要求1所述的一种基于多适配器的可见光红外视觉跟踪方法，其特征在于，所述第一卷积层以及第三卷积层中除最后一层以外的卷积层均是由卷积层、非线性层、正则化层以及池化层堆叠组成；

所述第一卷积层以及第三卷积层中的最后一层卷积层均是由卷积层以及非线性层堆叠组成。

3.根据权利要求1所述的一种基于多适配器的可见光红外视觉跟踪方法，其特征在于，所述实例适配器中除最后一层全连接层以的其他全连接层均是由神经元随机激活层、全连接层以及非线性层堆叠组成；

所述实例适配器中最后一层全连接层为softmax层。