[发明专利]深度图像的处理

说明书

本文所描述的实施例可以用来检测已被指定为对应于用户的深度图像的像素子集中的孔洞，并且用来填充这种检测到的孔洞。另外，本文所描述的实施例可以用来生成已被指定为对应于用户的低分辨率版本的像素子集，使得在显示包括用户的表示的图像时，图像反映出用户的外形，但并不是用户的镜像。进一步地，本文所描述的实施例可以用来辨识被指定为对应于用户的像素子集中的可能对应于支撑用户的地面的像素。这使被辨识为可能对应于地面的像素能够从被指定为对应于用户的像素子集中去除。

技术领域

本公开涉及计算技术，特别地，本公开涉及用于其中深度图像被用于检测和显示用户的表示和/或检测用户行为的解决方案。

背景技术

诸如计算机游戏、多媒体应用等之类的许多计算应用使用控制让用户操控游戏角色或者应用的其他方面。传统上，这种控制使用例如控制器、遥控器、键盘、鼠标等进行输入。不幸的是，这种控制可能不好学，从而在用户和这种游戏和应用之间形成了障碍。此外，这种控制可能不同于实际的游戏操作或使用控制的其他应用操作。例如，使游戏角色摆动一根棒球棒的游戏控制可能无法与摆动棒球棒的实际运动相对应。近来，摄像机已被用来允许用户操控游戏角色或应用的其他方面，而无需使用传统的手持游戏控制器。此外，这种摄像机使用户的表示可以在游戏或其他应用中显示。这种计算系统常常依赖骨骼跟踪（ST）技术来检测运动或其他用户的行为，并生成用户的表示进行显示。然而，虽然在一些情况下对检测和显示用户的表示很有用，但是ST技术已被证明无法在其他情况下可靠地对用户的表示进行检测和显示。例如，ST技术通常无法在用户躺或坐在地上或者躺或坐在地面附近的情况下可靠地对用户的表示进行检测和显示。

发明内容

本文所描述的实施例是用于深度图像被用来检测和显示用户的表示和/或检测用户的行为的情况。更具体地，本文所描述的一些实施例可以用来检测已被指定为对应于用户的深度图像的像素子集中的孔洞，并用来填充这种检测到的孔洞。这种孔洞可能是在捕获设备（如摄像机）被用来获取深度图像时，由于用户的一个部分遮挡了该用户的另一部分而产生。这样的实施例可以包括（在被指定为对应于用户的像素子集内）辨识潜在地作为孔洞的一部分的横向和纵向像素跨度，然后分析邻近这些跨度的像素来确定这些邻近的像素是否也将被辨识为潜在地作为孔洞的一部分。彼此邻近的跨度可以被一起组合成潜在地对应于孔洞的像素岛，然后对每个岛进行分析并分类为孔洞和非孔洞。然后执行孔洞填充对任何已辨识的孔洞进行填充，使得在深度图像被用来显示用户的表示时，孔洞填充的结果是可用的。

另外，本文所描述的实施例可以用来生成已被指定为对应于用户的低分辨率版本的像素子集，使得在显示用户的表示时，图像反映出用户的外形而且没有对用户线条分明的（distinct）身体部位进行平滑，但并不是用户的镜像。生成这种已被指定为对应于用户的低分辨率版本的像素子集可以在上述孔洞检测和孔洞填充的实施例之前或之后进行，或者完全独立于上述孔洞检测和孔洞填充的实施例执行，这取决于实施方式。

进一步地，本文所描述的实施例可以用来辨识可能对应于支撑用户的地面的（被指定为对应于用户的像素子集内）的像素。这使被辨识为可能对应于地面的像素能够从被指定为对应于用户的像素子集中去除。这种地面检测和去除技术可以在上述孔洞检测和孔洞填充的实施例和/或上述生成已被指定为对应于用户的低分辨率版本的像素子集之前或之后执行，或者完全独立于上述孔洞检测和孔洞填充的实施例和/或上述生成已被指定为对应于用户的低分辨率版本的像素子集执行。

本文所描述一些实施例可以用来调整深度图像，以将深度图像的灵敏度降低到用来获取深度图像的捕获设备的倾斜度。这种调整可以包括获取与用来获取深度图像的捕获设备相关联的向上向量。将深度图像中的像素从深度图像空间转换到三维（3D）摄像空间，以生成包括被指定为对应于所述用户的像素子集的深度图像的3D表示。然后使用向上向量将被指定为对应于用户的像素子集转换为具有指定姿态的平面。其后，可以将所述深度图像的所述3D表示从所述3D摄像空间转回到所述深度图像空间。