[发明专利]图像内的对象深度感测

说明书

各方面涉及用于感测图像内的对象深度的方法、系统和计算机程序产品。通常，本发明的各方面实现的对象深度检测技术能够降低功率消耗。这样的功耗降低支持移动设备和可穿戴设备以及具有较少功率资源的其他设备检测并记录对象(例如人的特征)。例如，相机可以在会议中有效地检测会话伙伴或与会者(可以提供关于用户面前的人的相关实时提示)。作为另一个示例，人的手部的检测解决方案可以(通过跟随臂的方向)确定用户正指向的对象并提供其他的交互形态。本发明的各方面可以使用低功率深度传感器来识别并捕捉与感兴趣对象相对应的像素。

背景技术

计算机系统和相关技术影响社会的许多方面。的确，计算机系统处理信息的能力已经改变了我们的生活和工作方式。计算机系统现在通常执行许多在计算机系统出现之前需手动执行的任务(例如文字处理、调度、会计、图像处理等)。最近，计算机系统已经被彼此耦合并被耦合到其他电子设备以形成有线和无线计算机网络，计算机系统和其他电子设备可以通过该网络传输电子数据。因此，许多计算任务的性能被分布在多个不同的计算机系统和/或多个不同的计算环境中。例如，分布式应用可以具有在多个不同的计算机系统上的部件。

在图像处理环境中，图像内特定对象的检测可以提供重要的上下文信息。例如，对相机前面的人的脸部的检测可以以移动设备上的用户交互的形式提供重要的上下文信息或者当被并入可穿戴设备时提供社交交互的情节。一些设备基于用户脸部的相对定向来调整显示在移动设备上的图像的几何图形，以提供增强的观看体验。其他设备使用用户脸部的相对定向来提供模拟3D体验。此外，嵌入在可穿戴设备中的相机上的连续脸部检测可以用于识别近距离处的会话伙伴或在会议中识别多个与会者。

然而，连续对象(例如人的脸部)的检测将消耗显著的功率。功耗限制了在移动设备、可穿戴设备和具有较少功率资源的其他设备上进行连续对象检测的有用性。功耗消耗由昂贵的算法操作(诸如加法和除法)所驱动。连续对象检测还可能包括冗余的相关度计算，因为即使在不同的图像少量变化(例如甚至仅变化一个像素)的情况下也要进行重新计算。还需要存储器，诸如静态随机存取存储器(SRAM)或动态随机存取存储器(DRAM)。当使用更高分辨率的相机时，单个图片帧可能需要超过5兆字节的存储器。图片帧可以在本地处理，或者被传输以用于远程处理。因此，在一些移动设备上使用连续对象(例如人的脸部)检测可能快速地(例如在一小时内)耗尽功率资源。

一种解决方案是以较低帧速率捕获图片并存储图片以用于后期处理。然而，后期处理可能不适合实时检测或其他需要低延迟的检测形态。

发明内容

示例涉及用于感测图像内的对象深度的方法、系统和计算机程序产品。图像捕获设备包括第一图像传感器和第二图像传感器。从第一图像传感器访问第一图像数据的第一图像数据比特流。第一图像数据对应于由第一图像传感器捕获的图像。从第二图像传感器访问第二图像数据的第二图像数据比特流。第二图像数据对应于由第二图像传感器捕获的图像。

将一个或多个时间延迟应用于第二图像数据比特流，以将第二图像数据比特流相对于第一图像数据比特流进行延迟。针对一个或多个时间延迟中的每一个，确定对象处于与时间延迟相对应的深度的可能性。针对第一图像数据内的感兴趣区域中的每个像素，从经延迟的第二图像数据比特流访问对应像素。计算指示像素与对应像素之间的相似度的相似度值。该相似度值通过比较像素的属性和对应像素的属性来计算。基于针对一个或多个延迟计算的相似度值，估计对象处于指定深度。

本发明内容旨在以简化的形式介绍一系列概念，在下文具体实施方式中将进一步描述这些概念。本发明内容无意确定所要求保护主题的关键特征或重要特征，也无意用作确定所要求保护主题的范围的辅助手段。

附加特征和优点将在下面的描述中进行阐述，并且部分附加特征和优点根据该描述将是清楚的或者可以通过实践而了解到。这些特征和优点可以通过在所附权利要求中特别指出的手段和组合来实现并获得。从以下描述和所附权利要求中，这些特征和优点以及其他特征和优点将变得更加清楚或者可以通过如下阐述的实践而得以了解。

附图说明