[发明专利]一种基于三维假设空间聚类的多人动作捕捉方法

权利要求书

1.一种基于三维假设空间聚类的多人动作捕捉方法，其特征在于，包括以下步骤：

(1)从C个不同视角的相机中分别获取二维RGB图像，定义为{I₁，...，I_C}，每个相机对应的投影矩阵定义为{P₁，...，P_C}；对于获取的C个二维RGB图像，分别进行二维人体姿态的初步估计，即对于每一人体关节点，得到包含所有人的关节候选点的初始二维位置集合；

人体骨架由14个关节点定义；各个关节点名称如下：Head，Neck，Shoulder.L，Elbow.L，Wrist.L，Shoulder.R，Elbow.R，Wrist.R，Hip.L，Knee.L，Ankle.L，Hip.R，Knee.R，Ankle.R，关节点对应编号依次为1，2，3，4，5，6，7，8，9，10，11，12，13，14，各关节点对应的父关节点编号依次为#，1，2，3，4，2，6，7，2，9，10，2，12，13；其中#表示无父节点，每个关节点与父关节点之间形成一段连接，共13段连接；关节点9(Hip.L)和关节点13(Hip.R)与父关节点(Neck)之间的连接没有固定骨长，其余关节点与父关节点之间均形成具有固定骨长的骨头，共11段骨头，标记为b₁，...，b₁₁；

所述二维人体姿态初步估计，以一张RGB图像作为输入，采用全卷积神经网络模型回归14个关节点的置信度图和关节点之间的亲和力场(part affinity field，PAF)；对于图像I_i，用H_i，j，j∈{1，2，...，14}表示第j个关节点的置信度图，关节点j对应的候选点的二维位置的集合通过对置信度图H_i，j进行非极大抑制获得，用表示；n_i，j表示图像I_i中第j个关节点对应的候选点的总数；

(2)二维关节点候选点在不同视图之间关联：

对于关节点j，该步骤对步骤(1)获得的来自C个视图的关节点候选点进行关联，实现同一个人的关节点在不同视图之间的对应；

(2.1)三维假设空间构建：

对于关节点j，通过三角化不同视图之间的二维关节点对，得到一组三维点，剔除以下无效三维点，剔除无效三维点后的集合为三维假设空间，用Λ_j表示；

(a)集合中重投影误差大于阈值τ₁的三维点为无效三维点，τ₁＝8；

(b)不符合亲和力场准则约束的三维点为无效三维点：

假定关节点j的父关节点为p，两者之间形成一段连接p→j；则假设空间中三维点必须满足与其中一个父关节点的三维候选点形成一段有效连接，即：

其中，Φ_p为关节点p的三维关节点候选点集合，X_p为关节点p的三维关节点，τ₂＝0.3，S(X_a，X_b)表示两个三维点X_a和X_b形成一段有效连接的置信度，定义如下：

s(x_a，x_b)表示关节点x_a和x_b来自同一个人并形成该人二维骨架中的一段的置信度，P_i表示第i个相机对应的投影矩阵；

(c)假定关节点j的父关节点为p，两者之间形成一段连接p→j；且该连接具有固定骨长，则进一步采用骨长准则剔除无效三维点，所述骨长准则如下：

其中，τ₃＝4cm，是所有人的骨头p→j对应的骨长集合，l_p，j为集合中的其中一段骨长；表示X_p到之间的距离；

(2.2)三维假设空间聚类

采用DBSCAN聚类方法对Λ_j的三维关节点进行聚类，聚类时ε设置为15，最小聚类设置为2；通过聚类将不同人对应的三维点聚到同一个簇；如果一个簇的中心与两个以上父节点的三维候选点满足骨长准则，则对该簇进行分裂；分裂方法是：对于该簇的每个三维点，寻找其最优的满足骨长约束的父关节点候选点，根据父关节点候选点进行重新划分；所述的最优为最小；

(3)三维关节点候选点重建：对于关节点j，将步骤(2)中同一簇中所有的三维点所对应的n个二维点建立匹配；以视图{i₁，...，i_n}之间匹配的一组二维关节点候选点为例，通过优化如下加权重投影误差代价函数得到一个三维关节点候选点X_j：

(4)三维姿态解析：给定重建的所有人的所有关节点对应的三维候选点，姿态解析将属于同一个的人的三维关节点候选点关联，生成每一个人完整的三维骨架；

(5)姿态跟踪：上述步骤(1)-(4)独立地估计每一帧对应的所有人的三维姿态，使用姿态跟踪方法来生成每个人的姿态轨迹，从而得到时序一致的姿态估计。