[发明专利]基于深度学习的实例级行人检测和行人重识别系统

摘要

本发明涉及视频监控技术领域，公开了基于深度学习的实例级行人检测和行人重识别系统，选择ResNet‑50作为CNN模型的网络结构，利用conv1到conv4_3作为stem CNN部分，给定一张输入图像，stem产生1024个通道的conv feature maps；将获得的conv feature maps输入到pedestrian proposal net中；将上述步骤得到的feature maps和proposals输入到ROI Align中，根据proposals的坐标位置在feature maps中将相应的区域池化为固定尺寸的特征图；将ROIAlign得到的固定大小的feature maps输入到Identification Net中，IdentificationNet由ResNet‑50的conv4_4值conv5_3组成，获得最终的feature maps；在ROIAlign后接入FCIS语意分割网络，对feature maps进行上采样，获得最终的实例级语意分割的结果；经过global average pooling获得2048维度的特征向量，经过Softmax分类器和线性回归获得行人的位置。本发明实现了端到端的行人实例级检测和行人再识别功能。

主权项

1.基于深度学习的实例级行人检测和行人重识别系统，其特征在于，包括如下步骤：S1：选择ResNet‑50作为CNN模型的网络结构，其具有的conv1和四个blocks(conv2_x to conv5_x)每个blocks包含3，4，6，3个残差单元，利用conv1到conv4_3作为stem CNN部分，给定一张输入图像，stem产生1024个通道的conv feature maps；S2：将获得的conv feature maps输入到pedestrian proposal net中，在每个feature map的每个位置上利用anchor机制和Softmax分类器判断前景和背景，同时采用线性回归调整anchor的位置，经过非极大值抑制，保留128个调整后的bbox作为proposals；S3：将S2得到的feature maps和proposals输入到ROI Align中，根据proposals的坐标位置在feature maps中将相应的区域池化为固定尺寸的特征图，方便后续的分类和包围盒回归操作，遍历每个proposal，将proposal分割成k*k个单元，利用双线性内插法计算四个坐标值，最后进行最大池化；S4：将ROIAlign得到的固定大小的feature maps输入到Identification Net中，Identification Net由ResNet‑50的conv4_4值conv5_3组成，获得最终的feature maps；S5：为了获得实例级的语意分割，在ROIAlign后接入FCIS语意分割网络，对feature maps进行上采样，获得最终的实例级语意分割的结果，在COCO数据上预训练的网络模型，该数据集中有81类，只关注行人这一类，直接拿过来使用，不分布参与训练；S6：利用S4获得的feature maps，经过global average pooling获得2048维度的特征向量，经过Softmax分类器和线性回归获得行人的位置，将通过S4操作获得2048通道feature maps，输入到一层global average pooling层中，获得一个2048维度的特征向量，为了获取精度更高的分类和Bounding box效果，再次使用Softmax分类器和线性回归获得行人的位置；S7：将S6获得的2048维的特征向量投影到经过L2正则化后的256维向量子空间中，获得256维度的特征向量，用于行人的匹配。