[发明专利]用于主动立体深度感测的系统和方法

说明书

一种电子装置[100]基于由具有彼此偏移的曝光时间的深度相机[114、115]结合将照明图案[305、310]脉冲到环境中的照明器[118、1119]捕获到的立体深度图像[410、415]来估计环境的深度图。该电子装置的处理器[220]将来自相机的深度图像的小的切面[430、432]与彼此匹配并且与紧接在深度图像之前的对应补片(例如，空间‑时间图像补片“立方体”)匹配。处理器通过将每个空间‑时间图像补片转换成二进制代码并且将两个立体图像补片之间的成本函数定义为二进制代码之间的差别来计算每个空间‑时间图像补片立方体的匹配成本。处理器使匹配成本最小化以生成视差图，并且通过使用利用经学习的像素偏移的决策树来拒绝离群值并且细化子像素来优化视差图以生成环境的深度图。

背景技术

深度相机用作计算机视觉任务的输入，该计算机视觉任务诸如手部、身体或对象追踪、3D重建以及同时定位和地图构建(SLAM)。对于这些任务，深度和图像数据的每个新帧都与前一帧相关，从而允许随着时间的流逝进行姿态或几何重建。然而，对于以相对低的速度(即，每秒捕获低数量的帧)操作的深度相机，场景中的高的帧到帧移动和诸如运动模糊的伪影使得难以解决帧之间的相关性。

附图说明

通过参考附图，可以更好地理解本公开，并且使其若干特征和优点对于本领域的技术人员而言显而易见。在不同附图中使用相同附图标记指示相似或相同的项。

图1是图示了根据一些实施例的使用主动立体深度相机来估计环境的深度图的电子装置的示意图。

图2是根据一些实施例的图1的电子装置的框图。

图3是图示了根据一些实施例的将两个照明图案交替地投影到环境中的电子装置的照明器的示意图。

图4是图示了根据一些实施例的对来自第一深度相机的深度图像、来自第二深度相机的深度图像以及前一深度图像中的每一个的补片进行匹配的电子装置的示意图。

图5是图示了根据一些实施例的基于捕获到的深度图像来估计深度图的方法的流程图。

具体实施方式

以下描述旨在通过提供若干具体实施例和细节来传达对本公开的透彻理解，这些具体实施例和细节涉及基于交替的立体深度图像来估计环境的深度图。然而，应理解，本公开不限于仅作为示例的这些具体实施例和细节，并且因此本公开的范围旨在仅由所附权利要求书及其等同物限制。还应理解，鉴于已知的系统和方法，本领域的普通技术人员应理解根据具体设计和其它需要在任何数量的替代实施例中用于本公开的预期目的和益处的本公开的使用。

图1-图5图示了用于通过电子装置基于由具有彼此偏移的曝光时间的深度相机结合将照明图案脉冲到环境中以支持基于位置的功能性的照明器捕获到的立体深度图像来估计环境的深度图的技术，该基于位置的功能性诸如增强现实(AR)功能性、虚拟现实(VR)功能性、视觉定位/里程计或其它同时定位和地图构建(SLAM)功能性等。第一照明器以第一频率和相位将第一照明图案脉冲到环境中，而第二照明器以第一频率和第二相位将第二照明图案脉冲到环境中。第一深度相机在第一照明器正在脉冲第一照明图案的时间期间捕获环境的深度图像，并且第二深度相机在第二照明器正在脉冲第二照明图案的时间期间捕获环境的深度图像。在一些实施例中，电子装置随着时间的流逝动态地改变所投影的图案。