[发明专利]一种基于骨架姿态的人物跟踪方法

权利要求书

1.一种基于骨架姿态的人物跟踪方法，其特征在于，分为三个阶段：离线训练阶段、在线姿态识别阶段和在线跟踪阶段；

在离线训练阶段，首先准备模型训练集，将OpenPose格式的骨架关键点坐标经过归一化后转化为36维向量作为输入，然后对OpenPose姿态识别模型进行训练；OpenPose姿态识别模型的网络结构包括生成模块和判别模块；

所述生成模块包括姿态编码器Es、动作编码器Ea、生成器G和判别器D四个子模块,每个子模块都各自由输入层、隐藏层和输出层组成；其中，姿态编码器Es和动作编码器Ea的输入层分别输入36维的骨架数据，输出层分别输出16维的姿态特征和196维的动作特征；生成器G的输入层的输入为一个212维向量，其第0到第15维为姿态特征，第16到第211维为动作特征，输出层输出36维的合成骨架；判别器D的输入层输入合成骨架，输出层输出36维的判别结果；

所述判别模块，其与生成模块共用姿态编码器Es，给定输入骨架，将Es输出的16维姿态特征作为该骨架的表示特征，在在线姿态识别阶段中作为骨架数据所属人物的标识符id检索的依据；判别模块在Es输出层后加入一个长度为N的全连接层得到id概率分布向量，其中N为训练集中id类别的个数；id概率分布向量中最大分量的维数即为人物骨架的id；

在在线姿态识别阶段，将含有待跟踪人物的图像输入OpenPose姿态识别模型，提取出图像中所有人物的骨架；

在在线跟踪阶段，首先将图像中的人物骨架依次输入训练好的OpenPose姿态识别模型，得到骨架姿态特征，并进行归一化；其次求出图像中每个人物骨架姿态特征与在库特征之间的欧式距离矩阵，用匈牙利算法求出每个人物特征匹配的在库特征，若与其欧式距离小于识别阈值，则匹配特征的骨架数据所属人物的标识符id即为人物跟踪结果，否则跟踪结果为-1，表示人物未在先前图像中出现，最后更新在库骨架数据所属人物的标识符id；其中：

OpenPose姿态识别模型中的生成模块损失函数如下所示：

L_adv(x_p,G(s_p,a_q))＝E[log D(x_p)+log(1-D(G(s_p,a_q))] [式7]

判别模块损失函数如下所示：

其中，x_p表示第p个样本中的骨架，s_p和a_p分别表示由骨架x_p提取的姿态特征和动作特征,G(s_p,a_q)表示由骨架x_p的姿态特征s_p和骨架x_q的动作特征a_q合成的骨架，E_s(G(s_p,a_q))和E_a(G(s_p,a_q))分别表示由G(s_p,a_q)提取的姿态和动作特征，D(x_p)表示判别器D对骨架x_p的输出；

在模型训练的每次迭代中，从训练集中随机取出四个骨架x_i,x_j,x_m,x_n，其中x_i与x_j属于不同id，x_i与x_m，x_j与x_n分别属于同一id；首先进行生成模块的训练，更新所有生成模块中的参数，再进行判别模块的训练，更新所有判别模块的参数；其中：

生成模块的训练步骤如下所述：

第一步：分别通过Es与Ea提取x_i的姿态特征s_i与动作特征a_i，分别对x_j,x_m,x_n进行与x_i相同的操作，得到s_j,a_j,s_m,a_m,s_n,a_n；

第二步：将s_i与a_i进行拼接,输入生成器G，得到G(s_i,a_i)，分别对x_j,x_m,x_n进行相同的操作，得到G(s_j,a_j)，G(s_m,a_m),G(s_n,a_n)；根据式2，计算

第三步：将s_m和a_i进行拼接,输入生成器G，得到G(s_m,a_i)，将s_n和a_j进行拼接,输入生成器G，得到G(s_n,a_j)；根据式3，计算和

第四步：由G(s_i,a_j)提取姿态特征E_s(G(s_i,a_j))和动作特征E_a(G(s_i,a_j))，由G(s_j,a_i)提取姿态特征E_s(G(s_j,a_i))和动作特征E_a(G(s_j,a_i))；根据式4,计算根据式5,计算

第五步：将E_s(G(s_i,a_j))和E_a(G(s_j,a_i))输入生成器G,得到G(E_s(G(s_i,a_j)),E_a(G(s_j,a_i)))，将E_s(G(s_j,a_i))和E_a(G(s_i,a_j))输入生成器G，得到G(E_s(G(s_j,a_i)),E_a(G(s_i,a_j)))；根据式6，计算和

第六步：将G(s_i,a_j)和x_i分别输入判别器D，输出D(G(s_i,a_j))和D(x_i)，将G(s_j,a_i)和x_j分别输入判别器D，输出D(G(s_j,a_i))和D(x_j)；根据式7，计算L_adv(x_i,G(s_i,a_j))和L_adv(x_j,G(s_j,a_i))；

判断模块的训练步骤如下所述：

将x_i，x_j，G(s_i,a_j)，G(s_j,a_i)分别输入姿态编码器Es，Es输出姿态特征后通过全连接层得到id概率分布向量；根据式8，计算根据式9，计算