[发明专利]基于关键点聚类的多视点人体运动捕捉方法

说明书

本发明公开了一种基于关键点聚类的多视点人体运动捕捉方法。本发明的实现包括：检测多视点图像中的人体关键点；基于图像信息及几何关系建立人体关键点的关系图；基于关键点的关系图及聚类算法，对各个视点下的人体关键点进行关联，找到属于同一个人的关键点；基于关键点的关联结果，还原各个人体关键点的三维位置。本发明通过高效鲁棒的关键点聚类方法，建立不同视点图像中的人体关键点的关联，提高了多视点人体运动捕捉方法的效率与准确率。

技术领域

本发明属于计算机技术领域，尤其涉及一种基于关键点聚类的多视点人体运动捕捉方法。

背景技术

在相关的多视点视频无标记多人重建技术中，一些方法使用自顶向下的方法先对人体进行检测，再对各个视点下的人体进行匹配，这种方法在场景中的人体相互遮挡的时候表现较差。近期还有方法通过对人体各段骨头分别进行关联，分别对各段骨头进行重建，再将属于同一个人的进行合并。这种方法没有充分考虑到人体的几何信息，使得关联过程不够高效。

发明内容

本发明的目的在于针对现有技术的不足，提出一种基于关键点聚类的多视点人体运动捕捉方法，并使用聚类结果进行三维人体重建。

根据本发明的第一方面，提供了一种对人体关键点建立图模型的方法，包括：

1.图模型的建立：本发明使用图模型来对人体关键点聚类问题进行建模。各个视点下的检测出的人体关键点视为图模型中的顶点，关键点之间的联系视为图模型的边。一个人体即可通过该图的子图来表示，一个子图中包含了多个顶点。一个子图完整地表示一个人当且仅当该子图包含了所有属于这个人的顶点，即该子图包含了这个人在各个视点下的所有检测到的关键点。人体关键点聚类问题即可描述为在该图中找到完整的人体子图的问题。多人场景下的关键点聚类问题即是找出所有这样的符合条件的子图。

2.图模型顶点的构造：给定多视点的图像生成的关键点响应热度图，使用非极大值抑制的方法，得到各个类型的人体关键点的在图像上的候选位置。将所有视点下获得的所有关键点作为图模型的顶点，建立图模型。

3.图模型边的构造：给定图模型的顶点，综合使用图像信息、几何信息构造顶点之间的有权值的边，边的权值表示这条边所连接的两个顶点的距离。即对于任意两个顶点来说，该距离越接近于零，则表示这两个顶点越倾向于属于同一个人；该距离越大，则表示这两个顶点越不可能属于同一个人。对于处于同一视点下的两个关键点，如果两个关键点在人体骨架树上不相邻，那么这两个顶点距离无穷大，如果两个关键点在人体骨架树上相邻，那么其距离由图像中两个关键点连接的图像置信度得到。对于不处于同一视点下的两个关键点，如果这两个关键点表示的不是人体的同一个类型的关节，那么其距离为无穷大；如果表示的是人体的同一个类型的关节，那么其距离通过空间几何信息得到，具体计算方式为：分别将两个二维关键点反投影到空间，构成两条射线，计算这两条射线的最短距离。

根据本发明的第二方面，提供了一种人体关键点的图模型的聚类方法，包括：

1.顶点关联：给定初始化的图模型，进行本发明提出的人体关键点图上的聚类。给定图的顶点和边，对所有边的距离进行升序排列。根据边的排序，从距离最小的边开始，依次选择未被连接过的顶点进行连接，将选中的边所连接的两个顶点合并为一个子图，直到边的距离大于给定的最大距离阈值。

2.子图关联：对顶点进行连接之后，部分顶点已经被连成了包含有多个顶点的子图。与一般的图的聚类方法不同的是，本发明在聚类的过程中，使用子图与子图之间的距离，而不是仅考虑顶点与顶点之间的距离。第一步中的顶点可视为一个只包含一个顶点的子图。计算子图与子图之间的距离时，为两个子图包含的顶点之间的所有距离的均值。计算完成距离之后，同样对所有边的距离进行升序排列，依次选择边进行连接。