[发明专利]行人组群关系识别方法、装置及系统

说明书

本发明提供一种行人组群关系识别方法、装置及系统，利用预设提取算法提取单帧图像中全部行人的可见关键点，获得每一个所述行人的关键点位置信息；通过所述关键点位置信息，利用预设多目标跟踪算法获得同一所述行人的轨迹关键点向量集合；利用预设的时序网络对所述行人的轨迹关键点向量集合进行特征提取，获得每个所述行人的目标特征；计算两两所述行人的所述目标特征的相似度，与预设阈值进行比较以区分是否为同一组群。本发明的行人组群关系识别方法、装置及系统，通过提取行人轨迹和人体骨架关键点序列作为主要信息，然后通过深度学习时序网络作为特征提取算法进行特征提取，提升了组群检测这一任务的精度和召回率。

技术领域

本发明涉及行人组群识别技术领域，特别是涉及一种行人组群关系识别方法、装置及系统。

背景技术

随着人工智能和计算机视觉技术的飞速发展，技术应用的范围也逐渐从安防监控领域蔓延到民用，商场，活动，门店等场景，在门店应用场景中，商业主管需要对门店进行定期的巡店，其中店铺工作人员的着装便是巡店中需要检查的重点内容之一。

目前，现有的方法及装置，主要运用了行人的轨迹，并通过轨迹获得行人步态周期，行进方向，速度和位移等信息，然后融合这些信息并编码计算，获取特征向量，最后通过对特征向量的识别，判断两个人是否为同一组群，当行人轨迹长度不相同时，多使用下采样或定长滑动窗进行处理，考虑到行人组群行为的视觉信息，不仅包含轨迹，步态，速度等，而且肢体动作以及人脸朝向是更加重要可观察信息；同时，下采样和滑动窗仅对某时刻及附近特征进行局部关联，缺乏全局信息关系，时序网络更加可以兼顾特征对于局部和全局关系。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种行人组群关系识别方法、装置及系统，用于解决现有技术中行人组群关系识别的问题。

为实现上述目的及其他相关目的，本发明提供一种行人组群关系识别方法，所述方法包括：利用预设提取算法提取单帧图像中全部行人的可见关键点，获得每一个所述行人的关键点位置信息；通过所述关键点位置信息，利用预设多目标跟踪算法获得同一所述行人的轨迹关键点向量集合；利用预设的时序网络对所述行人的轨迹关键点向量集合进行特征提取，并将每个所述轨迹关键点向量集合的浮点数向量作为每个所述行人的目标特征；计算两两所述行人的所述目标特征的相似度，所得结果与预设阈值进行比较以区分是否为同一组群，其中，所述结果大于预设阈值时，将两个所述行人划分为同一组群。

于本发明的一实施例中，所述预设提取算法为Mask-RCNN算法、OpenPose算法以及OmniPose算法中的一种。

于本发明的一实施例中，所述关键点位置信息的坐标表示为：

P＝[(x₁，y₁)，(x₂，y₂)，…，(x_m，y_m)]；

其中，m为所述关键点的个数，x_m为第m个所述关键点的横坐标，y_m为第m个所述关键点的纵坐标。

于本发明的一实施例中，所述行人的轨迹关键点向量集合表示为：

K_n＝[P_1，n，P_2，n，P_3，n，…，P_i，n]；

其中，i表示帧号，n表示当前所述行人的ID号。

于本发明的一实施例中，所述预设多目标跟踪算法为最近临域法、卡尔曼预测以及SORT多特征融合跟踪算法中的一种。

于本发明的一实施例中，所述预设的时序网络为RNN网络、LSTM网络以及timeTransformer网络中的一种。