[发明专利]跨模态行人重识别方法、装置、电子设备及存储介质

权利要求书

1.一种跨模态行人重识别方法，其特征在于，包括：

获取含有行人的图像信息；

将所述含有行人的图像信息输入预先训练的神经网络中，得到行人的特征向量；所述预先训练的神经网络包括至少两个子神经网络，每个所述子神经网络对应输入含有行人的不同模态图像信息；

基于所述行人的特征向量对图像信息中的行人进行重识别。

2.如权利要求1所述的方法，其特征在于，所述预先训练的神经网络通过以下方式训练得到：

构建神经网络；

获取多模态训练图像数据集，所述多模态训练图像数据集包括至少两个模态的图像信息，所述至少两个模态的图像信息含有相同行人；

将所述多模态训练图像数据集输入所述神经网络中进行训练，其中每个模态的图像信息输入对应的所述子神经网络中。

3.如权利要求2所述的方法，其特征在于，所述将所述多模态训练图像数据集输入所述神经网络中进行训练包括：

将所述多模态训练图像数据集中每个模态的图像信息输入对应的子神经网络中，得到至少两个行人的特征向量；所述每个模态的图像信息包含有相同行人；

将所述至少两个行人的特征向量拼接为一个特征向量，计算该特征向量的交叉熵损失值、中心损失值和异质中心损失值；

基于所述特征向量的交叉熵损失值、中心损失值和异质中心损失值，确定所述神经网络的损失值，再基于所述神经网络的损失值，调节所述神经网络的网络参数；

重复将所述多模态训练图像数据集中每个模态的图像信息输入对应的所述子神经网络中，基于所述神经网络的损失值调节所述神经网络的网络参数，直至所述神经网络的损失值稳定且不再变小为止。

4.如权利要求3所述的方法，其特征在于，所述基于所述特征向量的交叉熵损失值、中心损失值和异质中心损失值，确定所述神经网络的损失值包括：

通过以下公式确定所述神经网络的损失值：

L＝Lce+λ1*Lcenter+λ2*Lhc

其中，L为神经网络的损失值，Lce为交叉熵损失值，Lcenter为中心损失值，Lhc为异质中心损失值，λ1和λ2为系数。

5.一种跨模态行人重识别装置，其特征在于，包括：

图像获取模块，用于获取含有行人的图像信息；

特征提取模块，用于将所述含有行人的图像信息输入预先训练的神经网络中，得到行人的特征向量；其中，所述预先训练的神经网络包括至少两个子神经网络，每个所述子神经网络对应输入含有行人的不同模态图像信息；

行人重识别模块，用于基于所述行人的特征向量对图像信息中的行人进行重识别。

6.如权利要求5所述的装置，其特征在于，所述预先训练的神经网络通过以下方式训练得到：

构建神经网络；

获取多模态训练图像数据集，所述多模态训练图像数据集包括至少两个模态的图像信息，所述至少两个模态的图像信息含有相同行人；

将所述多模态训练图像数据集输入所述神经网络中进行训练，其中每个模态的图像信息输入对应的所述子神经网络中。

7.如权利要求6所述的装置，其特征在于，所述将所述多模态训练图像数据集输入所述神经网络中进行训练包括：

将所述多模态训练图像数据集中每个模态的图像信息输入对应的子神经网络中，得到至少两个行人的特征向量；所述每个模态的图像信息包含有相同行人；

将所述至少两个行人的特征向量拼接为一个特征向量，计算该特征向量的交叉熵损失值、中心损失值和异质中心损失值；

基于所述特征向量的交叉熵损失值、中心损失值和异质中心损失值，确定所述神经网络的损失值，再基于所述神经网络的损失值，调节所述神经网络的网络参数；

重复将所述多模态训练图像数据集中每个模态的图像信息输入对应的所述子神经网络中，基于所述神经网络的损失值调节所述神经网络的网络参数，直至所述神经网络的损失值稳定且不再变小为止。