[发明专利]基于关键点聚类的多视点人体运动捕捉方法

权利要求书

1.一种基于关键点聚类的多视点人体运动捕捉方法，其特征在于，包括以下步骤：

S1：检测多视点图像中的各个关节类型的人体关键点的二维位置；

S2：将所有视点下获得的所有关键点作为图模型的顶点，综合图像信息和几何信息构造顶点之间的有权值的边，边的权值表示这条边所连接的两个顶点的距离，建立图模型；

对于处于同一视点下的两个关键点，如果两个关键点在人体骨架树上不相邻，那么其距离无穷大，如果两个关键点在人体骨架树上相邻，那么其距离定义为图像中两个关键点连接的置信度的相反数；

对于不处于同一视点下的两个关键点，如果两个关键点表示的不是人体同一种类型的关节，那么其距离无穷大，如果表示的是人体同一种类型的关节，那么其距离定义为两个关键点反投影到空间形成的射线之间的最短距离；

S3：对多视点下的多人的关键点进行聚类，每个聚类结果为一个子图，子图里包含了至少一个关键点，第i个子图记为C_i；迭代过程的第t步的结果即为当前的子图集合，记为S^t；

3.0.聚类初始化：获得初始的图的节点和边；将每个节点作为一个子图，获得初始子图集合S⁰＝{C₁，C₂，...，C_N}，N为集合中子图总数；

3.1.距离计算：在第t步迭代过程中，对子图集合S^t中的任意两个子图之间的距离进行计算；对于子图其距离计算公式为：

其中，表示子图C₁中的第x个节点，该节点为第u_x个视点下的，第i_x种关节的第m_x个检测结果；表示子图C₂中的第y个节点，该节点为第v_y个视点下的，第j_y种关节的第n_y个检测结果；D(·)表示关键点的距离计算，D_s(·)表示子图之间的距离计算函数；

3.2.子图连接：对于第t步的子图集合S^t，其任意两个子图之间的距离构成了一个列表D^t＝{D_s(C₁，C₂)，D_s(C₁，C₃)，...}，对该列表排序；子图连接过程为：

3.2.0：初始化空的集合S^t+1表示新的子图集合；初始化空的集合Q＝φ表示使用过的子图的集合；

3.2.1：选择D^t中距离最小的边D_s(C_i，C_j)，将该边从D^t中移除；

3.2.2：判断C_i，C_j是否在集合Q里，如果其中一个在，那么返回步骤3.2.1；如果两个都不在，那么将C_i，C_j加入到集合Q中；

3.2.3：判断该距离D_s(C_i,C_j)是否大于给定的最大距离阈值D_max，如果大于，那么结束连接过程；

3.2.4：将子图C_i,C_j合并成为新的子图C_k，将新的子图加入集合S^t+1；返回步骤3.2.1，继续连接；

子图连接过程反复执行，直到集合D^t中不包含任何边，或无法再连接新的边；子图连接过程完成后，将新连接的子图集合S^t+1当作新的子图，跳转到步骤3.1，重新进行距离计算；

S4：对于完成聚类的关键点，使用关键点重建算法得到三维人体关键点位置，将重建的三维人体关键点重新投影到各个视点的图像中。

2.根据权利要求1所述的一种基于关键点聚类的多视点人体运动捕捉方法，其特征在于，所述步骤S3中，记前一帧的聚类子图为中包括了前一帧重建出来的人体的三维关键点位置；在前一帧的子图集合非空时，在步骤3.0中，将前一帧的子图加入到当前帧初始化的子图集合S⁰中；在步骤3.1中，如果一个子图为包含三维关键点的子图，一个子图为包含二维关键点的子图，那么其距离计算为三维关键点到二维关键点反投影形成的射线的距离。