[发明专利]基于行人外观和步态信息的多模态行人身份识别方法和系统

权利要求书

1.一种基于行人外观和步态信息的多模态行人身份识别方法，其特征在于，包括：

步骤S1:形成提取视频或图片中行人轮廓和行人位置的第一网络，令视频或图片中的单帧图片经过第一网络进行切割后，得到行人外观图片集合和行人轮廓图片集合；

步骤S2：形成端到端的特征提取网络，所述特征提取网络包括外观特征提取网络、步态特征提取网络；

步骤S3：令行人外观图片集合输入外观特征提取网络，得到外观初步特征；

步骤S4：令行人轮廓图片集合输入步态特征提取网络，得到步态初步特征；

步骤S5：将外观初步特征和步态初步特征进行融合，得到融合特征；

步骤S6：基于融合特征，比对检测目标和匹配对象之间的欧式距离，得到行人身份识别结果。

2.根据权利要求1所述的基于行人外观和步态信息的多模态行人身份识别方法，其特征在于，所述步骤S1包括：

步骤S11：基于深度卷积神经网络，进行行人检测和轮廓提取，形成第一网络；

步骤S12：利用COCO数据集训练得到网络模型参数，将网络模型参数应用到第一网络，令第一网络进行行人轮廓分割，得到行人外观图片集合和行人轮廓图片集合。

3.根据权利要求1所述的基于行人外观和步态信息的多模态行人身份识别方法，其特征在于，所述步骤S2包括：

步骤S21：基于深度卷积神经网络形成外观特征提取网络，外观特征提取网络是在ResNet-50模型基础上形成三个独立分支，第一独立分支采用步长为2的卷积层实现降采样，之后令输入的特征图经过全局最大池化层、1x1的卷积层、批标准化、ReLU激活函数，将2048维特征向量减小到256维特征向量；第二独立分支和第三独立分支不进行降采样，令输入的特征图水平切割成等分的两个或三个横条，将每一个切分后的横条也通过全局最大池化层、1x1的卷积层、批标准化、ReLU激活函数，得到一个256维特征向量；将六个256维的子特征级联得到1536维的外观特征。

步骤S22：基于深度卷积神经网络形成步态特征提取网络，随机抽取视频中K帧行人轮廓，使用卷积神经网络对行人轮廓序列提取步态特征，特征为512维；对于每一帧输入的轮廓图片都通过下述的卷积和池化操作得到对应的特征图；其中第一个卷积核为5×5，步长为1；第二个卷积核为3×3，步长为1，紧接着的池化层大小为2×2，步长为2；第三个和第四个卷积核均为3×3，步长为1，紧接着的池化层大小为2×2，步长为2；最后第五个和第六个卷积核均为为3×3，步长为1；在上述结构的第一次池化层后、第二次池化层后、最后一个卷机层后分别应用Set pooling操作将独立特征图集合成一个单一的特征图；将第二次setpooling输出的特征和第三次set pooling输出的特征图分别经过池化操作得到两个128维的特征；经过全联接层映射位两个256维的特征；将两个特征级联，得到512维的步态特征。

4.根据权利要求1所述的基于行人外观和步态信息的多模态行人身份识别方法，其特征在于，所述步骤S5包括：

步骤S51：令外观初步特征和步态初步特征进行拼接，得到高维度特征向量；

步骤S52：令高维度特征向量经过FC全联接层、ReLu层、FC全联接层和Sigmoid函数计算每个特征点的重要性权重；

步骤S53：令重要性权重与原始特征相乘后再相加，通过卷积层、BN层和ReLu层处理，形成最终的行人特征，作为融合特征。

5.根据权利要求1所述的基于行人外观和步态信息的多模态行人身份识别方法，其特征在于，所述步骤S6包括：

步骤S61：先将1536维的外观特征和512维的步态特征级联得到2048维的特征

步骤S62：将级联后的特征通过全联接层、Relu、全联接层、sigmoid层，输出得到2048维的重要性权重。

步骤S63:将重要性权重和原始级联特征相乘，之后再与原始级联特征相加，得到2048维的融合特征。