[发明专利]一种基于异种神经网络的多模态东北虎再辨识方法及装置

说明书

本发明公开了一种基于异种神经网络的多模态东北虎再辨识方法及装置，涉及机器视觉技术领域，可应用于跟踪东北虎的活动轨迹调查，对保护濒危的东北虎具有重大意义。本发明的异种神经网络包括用双分支残差神经网络和Transformer网络，其中，双分支残差卷积神经网络用于先对红外图像和可见光图像学习局部特征；Transformer网络对由双分支残差卷积神经网络学得的红外图像和可见光图像的局部特征，利用自注意力机制学习东北虎的全局特征。双分支残差卷积神经网络的各分支结构相同但参数独立，用于处理红外和可见光东北虎图像光谱、分辨率、对比度等特性；而Transformer网络从全局视角学习信息东北虎特征，减少图像模态差异带来的噪声影响，实现高准确率的东北虎再辨识。

技术领域

本发明涉及机器视觉技术领域，特别涉及一种基于异种神经网络的多模态东北虎再辨识方法及装置。

背景技术

东北虎，对其进行自动辨识是智能野生动物识别领域的一项重要任务，在保护濒危物种和维护物种多样性方面具有重要用途。再辨识算法主要解决不同摄像头下目标匹配问题，广泛用于智能视频监控的行人、车辆检索，是目前智能视频监控系统中目标轨迹跟踪与分析的核心技术。但是，不同于城市交通场景、生活小区中的行人、车辆再辨识。

东北虎再辨识因为野外环境复杂、东北虎喜夜行等问题具有更大的难度。夜间的红外东北虎图像和白天可见光东北虎图像之间的多模态匹配问题，是东北虎再辨识方法亟待解决的问题。

发明内容

本发明要解决的技术问题，在于提供一种基于异种神经网络的多模态东北虎再辨识方法及装置，通过先对红外图像和可见光图像分别学习局部特征，再利用自注意力机制学习东北虎的全局特征，实现高准确率的东北虎再辨识。

第一方面，本发明提供了一种基于异种神经网络的多模态东北虎再辨识方法，包括：

步骤10、获取红外光图像与可见光图像的多模态东北虎图像，对所述图像进行东北虎身份标定和图像增强，然后构建训练集；

步骤20、构建异种神经网络，所述异种神经网络包括双分支残差神经网络和Transformer网络；所述双分支残差神经网络包括结构相同但参数独立的两个残差卷积神经网络，用于分别对所述红外光图像和可见光图像的局部特征进行学习；

步骤30、构建损失函数，利用训练集对所述异种神经网络进行训练，通过损失函数对异种神经网络进行监督，采用随机梯度下降方法进行优化，直至收敛，从而获得异种神经网络模型；

步骤40、将东北虎查询图像和东北虎注册图像集输入所述异种神经网络模型，基于所提取的全局特征，计算所述东北虎查询图像与东北虎注册图像集中所有图像之间的欧式距离，并进行排序，选取距离最近的注册东北虎图像作为所述东北虎查询图像的再辨识结果。

进一步地，所述残差卷积神经网络依次包括一个网络茎部CBRM和两个残差块组RBG；所述网络茎部CBRM由卷积层、批归一化层、线性整流单元和最大池化层级联组成，所述残差块组RBG由若干残差块级联组成。

进一步地，所述Transformer网络包括空间分块层、位置编码层、若干堆叠的Transformer块以及批归一化层，所述空间分块层用于对所述双分支残差神经网络输出的特征映射进行空间分块，所述位置编码层用于增加一个与每个特征映射分块维数相同的可学习系数张量，所述Transformer块包括线性投影层、层归一化层以及多头注意力层。

进一步地，所述损失函数包括三元组损失函数和交叉熵损失函数；所述三元组损失函数在所述Transformer网络的批归一化层前，所述交叉熵损失函数在所述Transformer网络的批归一化层后。

进一步地，所述三元组损失函数具体为：

L_TRI＝max(C+d(a,p)-d(a,n),0)