[发明专利]用于人体跟踪的代表训练数据

说明书

技术领域

本发明涉及运动捕捉系统，尤其涉及运动捕捉系统中的人体跟踪。

背景技术

跟踪系统获得关于人或其他对象在物理空间中的位置和移动的数据，并且可使用该数据作为计算系统中的某一应用的输入。某些系统确定身体的骨架模型，包括该骨架的关节，并且因此可被认为是身体关节跟踪系统。可能有许多应用，如出于军事、娱乐、体育和医疗目的。例如，人的运动可用于创建动画人物或化身。包括使用可见和不可见(例如，红外)光的系统在内的光学系统使用相机来检测视野中的人的存在。然而，需要通过提供合成图像形式的训练数据来方便身体关节跟踪系统的开发。

发明内容

提供了用于生成用于身体关节跟踪系统中的人体跟踪的代表训练数据的处理器实现的方法、系统和有形计算机可读存储。

在身体关节跟踪系统的开发中，使用深度相机来获得在该相机的视野中移动的人的深度图像。使用各种处理技术来检测该人的身体，并识别该人执行的移动或姿态。该过程可被认为是监督机器学习算法。该过程是监督的是因为人的位置和姿态都是已知的。目标是使得身体关节跟踪系统了解如何识别该人的位置和姿态。可对该学习算法作出各种调整，例如，过滤掉噪声、识别不同的身体类型、以及将该人的身体与可能存在于视野中的其他物体(如家具、墙等)进行区分。然而，使用真实世界环境中的活人来训练该学习算法是低效的，且无法准确地表示身体关节跟踪系统在其被部署为数千或甚至数百万用户家庭中的商用产品时将经历的各种场景。

为了优化对学习算法的训练，可生成合成图像来作为用于真实的人的图像的代替或代表。该合成图像可用于扩充或替换真实的人的图像。此外，该合成图像可以用在计算上高效的方式来提供，同时是真实的且提供高度可变性来模拟身体关节跟踪系统在被部署时将经历的真实世界状况。

在一个实施例中，提供了一种用于生成用于人体跟踪的代表训练数据的处理器实现的方法。该方法包括多个处理器实现的步骤。该方法包括访问至少一个运动捕捉序列，该至少一个运动捕捉序列标识了其中行动者执行移动的时间段期间该行动者的身体的姿态。例如，该序列可在运动捕捉工作室中通过在穿着带有标记的运动捕捉套装的行动者执行一系列规定移动时对该行动者进行成像来获得。该方法还包括基于至少一个运动捕捉序列执行对多个不同身体类型的重新定标以及不相似姿态选择，以便提供多个重新定标的不相似姿态。该方法还包括根据用于相应身体类型的3-D身体模型来渲染每一不相似姿态，以提供该不相似姿态的相应深度图像，并且提供标识该不相似姿态的身体部位的相应分类图像。使用多个不同的3-D身体模型，对每一身体类型使用一个。此外，相应深度图像和相应分类图像构成了可由机器学习算法用于人体跟踪的像素数据。

在一种方法中，重新定标是在不相似姿态选择之前执行的，并且在另一方法中，重新定标是在不相似姿态选择之后执行的。任选地，向深度图像添加噪声来提供更真实的深度图像，该更真实的深度图像与真实世界环境中的深度相机将看见的深度图像相似。噪声可包括可因人有头发而引起的噪声、深度量化噪声、随机噪声、人的身体边缘所引起的噪声、因检测极薄结构而引起的噪声、以及因照相机几何结构引起的噪声。

提供本概要以用简化形式介绍在下面的说明书中进一步描述的精选概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。

附图说明

在附图中，标号相同的元素彼此对应。

图1描绘了身体关节跟踪系统的示例实施例。

图2描绘了图1的身体关节跟踪系统的示例框图。

图3描绘了可以在图1的身体关节跟踪系统中使用的计算环境的示例框图。

图4描绘了可以在图1的身体关节跟踪系统中，或在用于重新定标、不相似姿态选择和渲染的计算机图形系统中使用的计算环境的另一示例框图。

图5描绘了用于提供用于人体跟踪的代表训练数据的方法。

图6提供了获得运动捕捉数据(图5的步骤500)的进一步细节。

图7a提供了执行重新定标和不相似姿态检测(图5的步骤502)的进一步细节，其中首先执行重新定标。

图7b描绘了用于不相似姿态选择的算法。

图7c提供了执行重新定标和不相似姿态检测(图5的步骤502)的进一步细节，其中首先执行不相似姿态检测。

图8提供了执行渲染来提供深度图像和分类图像(图5的步骤504)的进一步细节。

图9是向深度图像添加噪声(图5的步骤506)的进一步细节。

图10a描绘了图5的过程的替换视图，其中重新定标在不相似姿态检测之前执行。