[发明专利]基于改进型YOLOv3网络和特征融合的行人重识别方法

权利要求书

1.基于改进型YOLOv3网络和特征融合的行人重识别方法，其特征在于，包括如下：

(1)构建训练数据集：

(1a)采集至少30000张像素不低于64×128的图像，图像必须包含行人目标，且每个行人至少由两个摄像头捕捉到；

(1b)对每一张图像中行人的边界框进行人工标注，绘制行人检测矩形框；

(1c)将所采集到的行人图像按照3:1的比例构建成训练集和验证集；

(2)构建改进型YOLOv3行人检测网络：

(2a)对YOLOv3网络中的特征提取网络Darknet-53进剪枝优化，得到改进的特征提取网络Darknet-37；其结构依次为：

输入层→第一卷积层→第二卷积层→第一组合模块→第三卷积层→第二组合模块→第四卷积层→第三组合模块→第五卷积层→第四组合模块→第六卷积层→第五组合模块→全局平均池化层→全连接层，其中：

第一组合模块，由通道数分别为32和64的两个卷积层和一个残差模块依次连接组成；

第二组合模块，由两组通道数分别为64和128的两个卷积层和一个残差模块依次连接组成；

第三组合模块，由四组通道数分别为128和256的两个卷积层和一个残差模块依次连接组成；

第四组合模块，由四组通道数分别为256和512的两个卷积层和一个残差模块依次连接组成；

第五组合模块，由四组通道数分别为512和1024的两个卷积层和一个残差模块依次连接组成；

(2b)根据特征金字塔网络结构，设计4个尺度检测模块，通过上采样和融合不同层的特征，在4个不同尺度的特征图上检测物体的类别；

(2c)利用标签平滑正则化优化方法优化行人检测类的概率分布，得到改进后的YOLOv3行人检测网络；

(3)构建全局特征和局部特征融合的行人重识别网络：

(3a)输入数据，并采用随机擦除对其进行数据增广；

(3b)搭建一个50层的残差网络ResNet50，加载ImageNet数据集的预训练权重，利用ResNet50残差网络从输入图像提取特征；

(3c)对提取的特征分别进行全局池化和水平池化，分别得到全局特征和局部特征，融合全局特征和局部特征进行相似度度量，检索特定行人目标；

(4)对(2)和(3)构建的两个网络分别进行训练：

(4a)将三元组损失、中心损失、ID损失进行结合得到训练用的损失函数L，结合损失函数L在(1c)构建的训练集中分别对(2)和(3)构建的两个网络进行初步训练，使网络学习到更多有区别的特征；

(4b)用(1c)构建的验证集分别对(4a)初步训练后两个网络进行超参数调整和评估，输出分类预测，进行迭代训练，直到分类准确率超过设定的阈值0.96，得到训练后的改进型YOLOv3网络和重识别网络；

(5)将训练后的改进型YOLOv3网络和训练后的重识别网络进行整合，得到行人重识别系统；

(6)采集监控视频，输入给行人重识别系统；

(7)将待检索的目标行人图片输入给行人重识别系统；

(8)用(5)得到的行人重识别系统对(6)输入的监控视频进行端到端的检索，并与(7)给定的目标行人图片进行比对，得到对给定目标行人的重识别结果。

2.根据权利要求1所述的方法，其特征在于，(2c)中利用标签平滑正则化优化方法优化行人检测类的概率分布，公式如下：

其中s为当前样本的单热分布标签，s'为标签平滑后的样本标签，ε为平滑因子，K是行人标签类别的总数。