[发明专利]一种基于行人体态的跨域多摄像头跟踪方法和装置

权利要求书

1.一种基于行人体态的跨域多摄像头跟踪方法，通过非接触的方式采集行人体态生物特征，实现基于行人体态的跨域多摄像头行人跟踪，其特征在于该方法包括以下步骤：

S1. 设置多个摄像头，且保证摄像头能以一定的角度拍摄到行人的侧身；

S2. 各摄像头拍摄可视范围内的识别区域；

S3. 各摄像头对识别区域进行行人检测；

S4. 各摄像头对所检测到的行人进行跟踪；

S5. 各摄像头对所跟踪的行人人体序列进行分割；

S6. 各摄像头对分割的行人人体序列二值化；

S7. 各摄像头对二值化后的行人人体轮廓序列进行特征提取；

S8. 比对各摄像头获取的行人体态特征值并识别和标定行人；

S9. 重复S2～S8上述步骤完成跨域多摄像头的行人识别；

其中s8具体是：将每个摄像头所提取的特征都传送到中心云服务器模块，中心云服务器模块中存储所有摄像头中所抓取的人体体态特征序列以及相应的时间轴；体态特征采用欧式距离算法求出距离，如果距离小于设定的阈值，则认定为同一个行人，并进行标定；

s4中采用交并比、局部色彩信息相似、行人语义特征相似度以及行人前序轨迹方向实现行人在当前摄像头内部的跟踪，得到同一行人的矩形框图像序列，具体是：

判断交并比值是否超过交并比设定阈值，如果超过交并比设定阈值，则再通过局部色彩信息相似值与设定的局部色彩信息相似阈值比较来判断是否为同一行人；如果没有超过交并比设定阈值且交并比值大于0而局部色彩信息相似值大于局部色彩信息相似阈值时，对检测的行人分别采用基于深度学习语义人体分割方法去除行人的背景信息，对分割后的行人采用深度卷积网络模型提取行人的语义特征信息，比较两个行人语义特征相似度，当语义特征相似度大于语义特征相似度阈值时，认为是同一人；

如果交并比值最大为0，则根据计算人体矩形框的轨迹方向，如果前一帧人体矩形框的轨迹方向与后一帧人体矩形框的轨迹方向小于设定的角度值，则再通过局部色彩信息相似值与设定的局部色彩信息相似阈值比较来判断是否为同一行人；如果前一帧人体矩形框的轨迹方向与后一帧人体矩形框的轨迹方向大于等于设定的角度值，对检测的行人分别采用基于深度学习语义人体分割方法去除行人的背景信息，对分割后的行人采用深度卷积网络模型提取行人的语义特征信息，比较两个行人语义特征相似度，当语义特征相似度大于语义特征相似度阈值时，认为是同一人。

2.根据权利要求1所述的一种基于行人体态的跨域多摄像头跟踪方法，其特征在于：s3中采用基于深度学习端到端的目标检测，并采用Tensor RT加速技术实现在监控视频中快速的检测人体位置，采用矩形框的方式标出行人。

3.根据权利要求1所述的一种基于行人体态的跨域多摄像头跟踪方法，其特征在于：S5~ S6具体是：采用基于语义的深度学习人体分割方法，去除背景，并对人体图像二值化。

4.根据权利要求1所述的一种基于行人体态的跨域多摄像头跟踪方法，其特征在于：s7具体是：输入一组或多组固定数量连续人体二值化体态，采用并行卷积神经网络分别提取特征并进行融合生成，输入的体态图像序列被映射成指定长度的一维特征序列。