[发明专利]基于人体关节点的2D视频多人追踪方法、系统、介质、设备

说明书

本发明公开了一种基于人体关节点的2D视频多人追踪方法、系统、介质和设备，其中，方法包括：对获取的视频文件进行切割，得到帧序列集合；提取帧序列集合每一帧中所有人的人体关节点特征；利用已知人物轨迹的视频进行相似度关系模型训练，使用人体关节点特征计算上下帧中相同人物以及不同人物之间身体特征的相似度关系；选择相似度关系作为训练集，使用神经网络算法学习属于同一个人物的相似度关系模型；在进行追踪时，初始化前n帧人物身份，逐帧计算当前身份未知的人物与前几帧中身份已知的人物的相似度关系，将其输入相似度关系模型，输出是否是该对应身份的概率，确定未知人物的身份，获得轨迹信息。本发明具有追踪能力稳健的优点。

技术领域

本发明属于计算机视觉与机器学习领域，特别涉及一种基于人体关节点的2D视频多人追踪方法、系统、介质、设备。

背景技术

目前，在利用2D视频进行多人追踪领域大多包括人物检测和数据关联两个部分。作为数据关联的基础，人物检测往往提取人物的特征信息，如颜色、形状、纹理、位置等，然后根据相似度关系对人物进行关联实现跟踪。在一些场景中，如运动员比赛，颜色和纹理不具有唯一性，大大削弱了使用颜色进行关联的能力。而在容易发生融合碰撞的场景中，依靠形状和位置追踪的装置常常会发生人物ID转换的现象。而现有的追踪方法仅能追踪视频中人的轨迹，不能提取人的行为信息。

因此，需要提供一种追踪能力稳健的装置及方法在追踪2D视频轨迹的同时也能提取人的行为信息，并能应用到众多需要行为识别的领域中。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于人体关节点的2D视频多人追踪方法、系统，其具有追踪能力稳健的优点，并能提取到人的行为信息，为进一步的人行为识别做准备。

本发明的目的通过以下的技术方案实现：基于人体关节点的2D视频多人追踪方法，包括步骤：

对获取的视频文件进行切割，得到帧序列集合；

识别并提取帧序列集合每一帧中所有人的人体关节点特征；

利用已知人物轨迹的视频进行相似度关系模型训练，使用人体关节点特征计算上下帧中相同人物身体特征的相似度关系，以及上下帧中不同人物身体特征的相似度关系；选择相似度关系作为训练集，使用神经网络算法学习属于同一个人物身份的相似度关系模型；

在进行追踪时，初始化前n帧人物身份，逐帧计算当前身份未知的人物与前几帧中身份已知的人物的相似度关系，将其输入相似度关系模型，输出是否是该对应身份的概率，确定未知人物的身份，获得该人物的关节点轨迹信息。

优选的，所述相似度关系包括3个参数，分别为皮尔逊相关系数P_corr，特征点之间距离均值D_mean，特征点之间距离标准差D_std，计算方法如下：

设第i帧中第m个人特征与第j帧中第n个人的特征之间的相似度

选择和两数组中共同存在的关节点像素位置坐标，得到共存关节点像素位置特征和

计算和之间的皮尔逊相关系数其中，表示和之间协方差，和分别表示和的标准差；

计算和之间的距离均值cn为共存关节点的数量，dc表示对应关节点像素坐标距离绝对值；

计算和之间的距离标准差其中μ_dc表示dc的平均值。

优选的，相似度关系模型的构建方法如下：

在人体关节点的集合K中取出连续n帧已知追踪策略(即每帧中的人物ID已知)的关节点坐标集合