[发明专利]一种基于异种神经网络的多模态东北虎再辨识方法及装置

权利要求书

1.一种基于异种神经网络的多模态东北虎再辨识方法，其特征在于，包括：

步骤10、获取红外光图像与可见光图像的多模态东北虎图像，对所述图像进行东北虎身份标定和图像增强，然后构建训练集；

步骤20、构建异种神经网络，所述异种神经网络包括双分支残差神经网络和Transformer网络；所述双分支残差神经网络包括结构相同但参数独立的两个残差卷积神经网络，用于分别对所述红外光图像和可见光图像的局部特征进行学习；

步骤30、构建损失函数，利用训练集对所述异种神经网络进行训练，通过损失函数对异种神经网络进行监督，采用随机梯度下降方法进行优化，直至收敛，从而获得异种神经网络模型；

步骤40、将东北虎查询图像和东北虎注册图像集输入所述异种神经网络模型，基于所提取的全局特征，计算所述东北虎查询图像与东北虎注册图像集中所有图像之间的欧式距离，并进行排序，选取距离最近的注册东北虎图像作为所述东北虎查询图像的再辨识结果。

2.根据权利要求1所述的方法，其特征在于：所述残差卷积神经网络依次包括一个网络茎部CBRM和两个残差块组RBG；所述网络茎部CBRM由卷积层、批归一化层、线性整流单元和最大池化层级联组成，所述残差块组RBG由若干残差块级联组成。

3.根据权利要求1所述的方法，其特征在于：所述Transformer网络包括空间分块层、位置编码层、若干堆叠的Transformer块以及批归一化层，所述空间分块层用于对所述双分支残差神经网络输出的特征映射进行空间分块，所述位置编码层用于增加一个与每个特征映射分块维数相同的可学习系数张量，所述Transformer块包括线性投影层、层归一化层以及多头注意力层。

4.根据权利要求1所述的方法，其特征在于：所述损失函数包括三元组损失函数和交叉熵损失函数；所述三元组损失函数在所述Transformer网络的批归一化层前，所述交叉熵损失函数在所述Transformer网络的批归一化层后。

5.根据权利要求4所述的方法，其特征在于：

所述三元组损失函数具体为：

L_TRI＝max(C+d(a,p)-d(a,n),0)

其中，a为锚点样本，p为正样本，n为反样本，且p与a具有相同的身份，n与a具有不同的身份；d(a,p)是a和p之间的欧式距离，d(a,n)a和n之间的欧式距离；C≥0为是间隔参数；

所述交叉熵损失函数具体为：

其中，M是类别数量；N是样本数量；y_ic为指示函数，若第i样本的类别为c则y_ic＝1，否则y_ic＝0；p_ic为样本属于类别c的后验概率。

6.一种基于异种神经网络的多模态东北虎再辨识装置，其特征在于，包括：训练集构建模块、异种神经网络构建模块、网络训练模块以及再辨识模块；

所述训练集构建模块，用于获取红外光图像与可见光图像的多模态东北虎图像，对所述图像进行东北虎身份标定和图像增强，然后构建训练集；

所述异种神经网络构建模块，用于构建异种神经网络，所述异种神经网络包括双分支残差神经网络和Transformer网络；所述双分支残差神经网络包括结构相同但参数独立的两个残差卷积神经网络，用于分别对所述红外光图像和可见光图像的局部特征进行学习；

所述网络训练模块，用于构建损失函数，利用训练集对所述异种神经网络进行训练，通过损失函数对异种神经网络进行监督，采用随机梯度下降方法进行优化，直至收敛，从而获得异种神经网络模型；

所述再辨识模块，用于将东北虎查询图像和东北虎注册图像集输入所述异种神经网络模型，基于所提取的全局特征，计算所述东北虎查询图像与东北虎注册图像集中所有图像之间的欧式距离，并进行排序，选取距离最近的注册东北虎图像作为所述东北虎查询图像的再辨识结果。