[发明专利]深度测量质量增强

说明书

技术领域

本发明涉及距离测定测量（诸如包含“三维点云”数据信息的深度图或图像）的质量增强，且更特定地涉及与所成像的三维景象中的前景对象和背景对象之间的边缘对应的像素相关联的深度测量的去噪和有问题的内插深度值的修正。

背景技术

深度测量相机系统是新近的距离测定设备，由于被用于消费电子系统和控制台游戏中的姿势识别和人体骨架追踪的技术，该设备变得越发常用。

主要地，存在两种类型的环境照明独立的深度感测或三维（3D）相机技术适于这样的应用。一种类型的3D相机技术是结构光3D相机，例如，由PrimeSense所提供、用于微软的Xbox360的Kinect（称为Kinect）视频游戏控制台中的姿势识别。（微软、Kinect、和Xbox360的Kinect是微软公司的商标）。第二种类型的3D感测相机技术是由数个独立公司研发和制造的飞行时间（ToF）相机且被用于例如汽车工业或在包括人机交互的各种环境（包括视频游戏、机器人、家庭自动化等）中用于姿势识别和人体骨架追踪。

然而，无论3D感测相机的类型如何，提供包括多个像素的场景的图像，该图像的每一个像素包含至少与所成像的对象与该相机之间的距离有关的信息，这样的信息是测得的深度值。内嵌有至少深度测量信息的这样的图像用术语表达为“深度图（depth map）”。其他类型的图像也可包括内嵌的深度测量信息，例如，“3D点云”数据矩阵，其中图像包括相对于相机坐标系统或相对于虚拟环境坐标系统的内嵌的信息。在这样的图像中，x和y分别对应于水平和垂直轴且z-轴对应于深度。从相机坐标系统到虚拟环境坐标系统的转换是投影的问题，且这样的变换一般称为“场景校准”。

使用提供深度测量的图像的任何应用或系统从而依赖于在分辨率、噪声、准确度、稳健性、和可重复性方面的测量质量。特定地，当主要考虑3D ToF相机技术时，场景对象边缘周围的深度测量已知会展现出也被称为“飞行像素”的卷积和/或内插伪像，这可影响单个自然锐利边缘的至少一个像素半径的深度数据。这样的“飞行像素”是空间伪像，其发生在对象边缘处的位置中的且独立于任何可能的运动模糊，且其需要在景象中被移除和/或恢复至对应于新计算的深度值的正确位置，该新计算的深度值将该“飞行像素”合适地分配至前景对象或分配至背景对象。这样的恢复的目的是在于显著改进之后的对象检测置信度并增强3D景象中对象的深度信息质量。

发明内容

因此本发明的目的在于，通过检测可能形式为噪声像素值和/或形式为内插的“飞行像素”值的缺陷像素，来提供增强距离测定测量的质量的方法与系统，例如以深度图或以3D点云的形式来提供这样的测量。特定地，噪声像素值涉及整个深度图。然而，它们易于减少平且连续的表面的质量。“飞行像素”值涉及深度图中或对应的3D点云中表示的3D对象的边缘，这些边缘被定义为位于不同深度的前景对象和背景对象之间的界限。

根据本发明的一个方面，提供了三维图像的缺陷像素值的深度图质量增强的方法，该方法包括如下步骤：

a)确定与一场景有关的深度测量数据；

b)检测该深度测量数据中的缺陷；

c)定义每一个检测到的缺陷像素的深度修正；和

d)向每一个检测到的缺陷像素的深度测量数据应用该深度修正。

通过使用本发明的方法，可获得深度图或3D点云图像质量的显著增强，同时可特定地减少深度测量噪声。特定地，在位于对象边缘处的内插的“飞行像素”内包含的信息被恢复且然后这些边缘因此被锐化从而使得它们对于进一步的信号处理方法相关且有用。

此外，本发明的一个结果在于极大地改进用户和对象检测、标识、追踪、以及运动相关的数据分析（诸如在三维景象中的感兴趣的对象上执行的姿势识别之类），因为这类方法依赖于深度图深度数据值质量。作为另一个结果，可以更好的可靠性和准确度来进行与景象内用户形状和对象形状有关的图像提取。

此外，改进的对象检测还提供3D景象内的用户和对象的显著更好的建模，特定地，由于最小化了用户身体部分与对象或与其本身的融合，还显著改进了人体骨架适配和追踪，且可更为准确地建模用户的身体形状。

在本发明的优选实施例中，步骤b)包括对每一个像素，确定在至少一个方向的深度相关的方向导数。

步骤c)优选地包括，对于每一个所标识的缺陷像素，进行如下步骤：

c1）确定与深度方向导数有关的向量；

c2）确定所确定的向量的法向；