[发明专利]一种基于多源图像信息的特定人员重识别方法

权利要求书

1.一种基于多源图像信息的特定人员重识别方法，其特征在于，方法包括如下步骤：

步骤1，在同一场景中设置多个固定摄像头和无人机，无人机上安装有一个云台摄像头，固定摄像头和云台摄像头共同组成摄像头，设置图像缓存队列并对多路摄像头的视频进行采集和存储同步；

步骤2，采用一阶段目标检测网络对采集到的多路摄像头的视频中的图像进行实时行人检测并将结果存入缓存区；

步骤3，构建行人重识别网络并读取缓存区中的行人数据进行处理获得重识别的欧氏距离，对重识别得到的欧氏距离进行排序，根据排序的结果进行人员位置框的绘制并显示。

2.根据权利要求1所述的一种基于多源图像信息的特定人员重识别方法，其特征在于：所述步骤1包括如下子步骤：

步骤1-1，通过rtsp协议分别采集多路固定摄像头的监控视频到pc端解码，同时，无人机通过图传将云台摄像头的图像视频传输到手机端进行编码再后通过tcp协议发送到pc端并解码；

步骤1-2，在pc端为每一路摄像头的视频建立一个线程和一个图像缓存队列，每一路摄像头下的视频中的每一帧图像按时序存储在自身的图像缓存队列中，每一路摄像头下的线程对应处理该路摄像头下的图像缓存队列，每间隔处理读取所有图像缓存队列中帧数最小的图像缓存队列作为参考图像缓存队列；

步骤1-3，使用双线性插值法统一每一路摄像头的图像的分辨率大小；

步骤1-4，由所有线程建立线程池，使得每一路摄像头的视频共同处理在显示界面中的固定位置显示。

3.根据权利要求1所述的一种基于多源图像信息的特定人员重识别方法，其特征在于：所述步骤2包括如下子骤：

步骤2-1，选择YOLOv3神经网络作为目标检测网络的基础模型，并在YOLOv3神经网络的基础上加上空间金字塔池化结构形成最终的目标检测网络；

步骤2-2，将目标检测网络加载在coco2017数据集上进行预训练网络的权重，并对步骤1中采集到的多路摄像头的视频中的图像进行调整尺寸、归一化等预处理后输入网络模型进行预测处理，获得行人类别的预测框，提取出行人类别的预测框作为行人图像并存入缓存区。

4.根据权利要求1所述的一种基于多源图像信息的特定人员重识别方法，其特征在于：所述步骤3包括如下子步骤：

步骤3-1，选取主干网络osnet为行人重识别网络的主干，行人重识别网络的头部分为局部分支和全局分支的两个分支，局部分支和全局分支分别提取获得局部特征和全局特征，将局部分支输出的特征图自上而下平均分成与人体拓扑结构相吻合的四个部分，最后将全局分支与局部分支的输出拼接；

步骤3-2，将拼接后的特征结果进行分类，使用交叉熵加上三元组损失函数作为分类损失函数，共同对行人重识别网络进行训练和监督；

步骤3-3，由训练后的行人重识别网络将步骤2缓存区中的行人图像进行处理得到每一个行人的特征向量，将每一个特征向量与预先获得的特定人员的特征向量之间计算欧氏距离；

步骤3-4，对重识别得到的欧氏距离进行排序，根据排序的结果进行人员位置框的绘制并显示。