[发明专利]一种估计人体姿态的方法、装置及计算机可读介质

说明书

本发明涉及一种估计人体姿态的方法、装置及计算机可读介质，属于计算机图像处理技术领域。本发明首先由计算机通过获得源图像的序列并由此从相应的源图像段获得具有与图像背景分离的对象的序列来估计铰接式3D对象模型的人体姿态；然后将所述序列与参考轮廓序列进行匹配，以确定形成最佳匹配的一个或多个选定的参考轮廓序列；随后对于每一个所述参考序列轮廓，检索与所述参考轮廓之一相关联的参考人体姿态；以及从检索到的一个或多个参考人体姿态计算铰接式对象模型的人体姿态的估计。通过上述步骤得到的结果为初始人体姿态估计，然后可以在进一步的步骤中使用该初始人体姿态估计。本发明可在摄像机标定松散、运动员分辨率低和存在遮挡的非受控环境中运行。

技术领域

本发明属于计算机图像处理技术领域，具体涉及一种估计人体姿 态的方法、装置及计算机可读介质。

背景技术

人体姿态估计或运动捕捉作为计算机视觉和图形学领域中的一 个基本问题，在比赛和电影中的角色动画、比赛和监控的无控制器界 面等领域都有广泛应用。鉴于问题的复杂性，目前尚无一个能够使其 适用于所有应用领域的通用型解决方案。同样需要注意的是，所谓解 决方案在很大程度上会依赖于相关条件以及对设置施加的约束。通常 情况下，约束越多，就可以获得更为精确的人体姿态估计结果。但在 现实世界的场景中，通常很难增加约束。而许多实际应用则都离不开 场景。例如，可以简单的利用TV广播中已有的视频素材，展示如何 使用精确的人体姿态估计结果来在体育比赛期间从任意视点对运动 员进行高质量的渲染。除了在渲染领域中应用之外，在比赛期间对人 体姿态估计还可以用于进行生物力学分析和合成，以及用于比赛统计， 甚至将真实的比赛移植到电脑游戏之中。

目前，商业运动捕捉系统通常使用遍布全身的光学标记来跟踪一 个对象的时变性运动状态。尽管这类系统能够得到非常准确的人体姿 态估计结果，可以捕捉到各种身体人体姿态以及面部表情。但是，这 类方法只能在受控环境下工作，因此只应用于特定范围，适用范围严 格受限。

目前根据使用的“镜头”类型，无标记人体姿态重建(或运动捕 捉)问题可大致被分为以下两类，即使用来自一个摄像机的视频序列， 以及使用来自多个校准摄像机的“镜头”。由于单目视频序列对用户 的限制较少，因此基于单目视频序列的人体姿态估计方法对于某些应 用而更为方便，但它亦存在一些固有的问题，其中包括深度不确定性 (模糊性)。尽管模糊性可以利用从运动到结构的方法来解决，这在 视觉上却是一个非常困难的问题。来自运动算法的结构通常依赖于包 含大量细节的高分辨率场景，而在运动场景中通常并不具备所需条件。

另外，在人体姿态估计方法中，另一个急需解决的问题是遮挡。 如果旨在进行人体姿态分析的“镜头”仅来自单一摄像机，那么则很 难对其进行解析。并且通过增加摄像机的数量，则更有可能获得同一 对象的无遮挡“镜头”。一般而言，摄像机的空间覆盖率越高，那么 获得的镜头的质量就会越高。除此之外，目前体育转播已开始使用多 个摄像机来进行图像获取。因此，人们可以利用这些信息来得到更精 确的3D人体姿态估计结果。

就目前已有技术而言，大多数多视角3D人体姿态估计方法都是 利用跟踪算法来重建某一时刻处的人体姿态或根据某一时间下的人 体姿态来重建另一时刻的人体姿态。其中，跟踪可以使用光流拟合和 或立体视觉匹配来实现。然而，尽管这些方法可以提供较精确的人体 姿态估计结果，但它们通常需要在受控环境下工作，且需要更多的高 分辨率摄像机(通常至少四个)和良好的场景空间覆盖(通常是圆形 覆盖)来解决由于遮挡造成的模糊性问题。

当然，目前亦存在一些使用多视角轮廓或多视角立体方法来构建 “代理几何体”的其他方法。在完成所述代理几何体构建之后，骨架 会被装入此几何体。尽管这些方法能够提供非常好的效果，但它们亦 存在一些关于设置方面的限制。这是因为它们需要精心搭建的摄影棚、 许多高分辨率摄像机以及非常好的空间覆盖率。

除此之外，还存在另一类基于图像分析和分割的算法。这些算法 能够使用机器学习方法来区分身体部位。不过，此分析通常需要高分 辨率的镜头，对于大多数应用场景而言是无法实现的条件。