[发明专利]三维场景的分析

说明书

技术领域

本发明总体涉及用于三维(3D)绘图(mapping)的方法和系统，并特别涉及3D图(map)数据的处理。

背景技术

在本领域中已知许多用于产生深度图(depth map)的不同方法和系统。在本专利申请和权利要求中，术语“深度图”是指场景的二维像素矩阵表示，其中每个像素分别对应于场景中的一个位置并分别具有指示从某一参考位置到各自的场景位置的距离的像素值。(换句话说，深度图是图像的形式，其中像素值指示场景中目标的形貌信息，而不是亮度和/或颜色)。通过例如向目标投射激光斑纹图案并检测和处理该目标的图像，可以生成深度图，如在PCT国际申请WO2007/043036A1中所述，该申请的公开内容以参引方式被纳入本文。

深度图可以被处理，以分割和识别场景中的目标。深度图中人形形状(指的是结构类似于人的3D形状)的识别以及从一个场景到另一个场景这些形状的改变可以被用作控制计算机应用(application)的手段。例如，PCT国际申请WO2007/132451描述了一种计算机实现方法，其中深度图被分割，以便发现人形身体的轮廓，该申请的公开内容以参引方式被纳入本文。轮廓被处理，以识别身体的躯干以及一个或多个肢体。通过分析深度图中的至少一个被识别出的肢体的布置，产生一个输入以控制运行在计算机上的应用程序。

发明内容

本发明的实施方案提供用于从深度图中提取信息的方法、装置和软件。

因此，根据本发明的一个实施方案提供一种用于处理数据的方法，该方法包括接收场景的暂时的深度图序列，所述场景包括静态背景和隐藏所述背景一部分的一个或多个移动的前景目标，所述深度图包括像素矩阵，所述像素的至少一些具有各自的像素深度值并对应于所述场景中的各自位置。数字处理器处理所述序列中的第一深度图，以识别没有被所述第一图中所述移动的前景目标所隐藏的所述静态背景的第一部分。所述序列中至少一个第二深度图被处理，以识别所述静态背景的至少一个第二部分，由于所述前景目标中的至少一个在所述序列上的运动，所述第二部分不同于所述第一部分。所述处理器通过组合所述静态背景中的至少所述第一部分和所述第二部分，构造所述场景的背景模型。

在一些实施方案中，所述方法包括基于所述背景模型，通过发现比所述背景模型更接近的像素来产生前景图。可以发现人形体形，其包括属于所述前景图的像素和被发现属于前一帧中人形体形的像素。

在一个公开的实施方案中，所述方法包括识别所述深度图中的平面地板(planar floor)。所述目标中的一个的阴影可以在所述深度图中被识别，并且投射阴影的目标的深度可以被用于评估所述背景模型。

通常，构造所述背景模型包括：响应于在所述深度图序列上所述背景中出现的变化，来更新所述背景模型。在一个公开的实施方案中，所述深度图被成像组件所捕获，并且所述方法包括评估所述序列中深度图之间所述背景模型变化的程度，并且当所述变化的程度超过预定阈值时，检测所述成像组件已经移动。

根据本发明的一个实施方案，还提供一种用于处理数据的方法，包括接收场景的深度图，所述场景包含一个或多个关于表面定位的目标。数字处理器处理所述深度图，以识别并产生所述表面的参数模型；以及通过将由所述参数模型表示的所述表面从所述深度图中移除，分割所述场景中所述一个或多个目标。

在一个公开的实施方案中，所述表面是对应于地板的平面表面，在所述地板上定位有所述目标中的至少一个。处理所述深度图包括计算所述深度图中所述像素的局部法线(local normal)，并且根据由所述局部法线所预测的平面来聚集所述像素，以识别所述平面表面。通常，所述深度图被成像组件所捕获，并且所述聚集操作包括处理所述像素的至少一些的各自深度值，以预测所述成像组件相对于每个像素的高度，以及聚集具有相同的所述成像组件预测高度的像素。

附加地，根据本发明的一个实施方案提供一种用于处理数据的方法，包括接收包含人形形状的场景的深度图。数字处理器处理所述深度图，以识别所述场景中的三维连接分量(3D connected component)。每个连接分量包括一组相互邻近并具有相互邻近深度值的像素。所述处理器将分离的连接分量识别为属于所述人形形状，并产生包括一些连接分量的所述人形形状的表示。

在一个公开实施方案中，处理所述深度图包括定位所述深度图的边缘和所述边缘之间的像素块，并且聚集相邻的三维像素块以识别所述3D集群(cluster)。