[发明专利]用于检测对象的3D关联的系统与方法

说明书

提供了用于检测对象的3D关联的电子装置、方法和计算机可读介质。电子装置包括至少一个图像传感器，惯性测量传感器，存储器，以及联接到至少一个图像传感器、惯性测量传感器和存储器的至少一个处理器。至少一个处理器配置为使用至少一个图像传感器来拍摄环境的图像；在所拍摄的图像中检测对象；限定图像中围绕所检测的对象的有界区域；从惯性测量传感器接收头部姿态数据，以及使用头部姿态数据和所拍摄的图像中的有界区域来确定所检测的对象在3D空间中的位置。

技术领域

本公开大体上涉及增强现实系统与方法。更具体地，本公开涉及用于检测对象的3D关联的系统与方法。

背景技术

3D空间中的对象检测是增强现实应用的重要方面。然而，增强现实应用提出了关于确定3D空间中检测对象的比例和深度的挑战。

发明内容

问题的方案

本公开提供了用于检测对象的3D关联的系统与方法。

在一个实施例中，提供了用于检测对象的3D关联的电子装置。电子装置包括至少一个图像传感器，惯性测量传感器，存储器，以及联接到至少一个图像传感器、惯性测量传感器和存储器的至少一个处理器。至少一个处理器配置为使用至少一个图像传感器拍摄环境的图像；在所拍摄的图像中检测对象；限定图像中围绕所检测的对象的有界区域；从惯性测量传感器或从配置为使用惯性测量传感器和图像传感器数据来计算头部姿态的另一处理器接收头部姿态数据；以及使用头部姿态数据和所拍摄的图像中的有界区域来确定所检测的对象在3D空间中的位置。

在另一个实施例中，提供了用于检测对象的3D关联的方法。该方法包括：使用至少一个图像传感器拍摄环境的图像；在拍摄的图像中检测对象；限定图像中围绕所检测的对象的有界区域；从惯性测量传感器或配置为使用惯性测量传感器和图像传感器数据计算头部姿态的另一处理器接收头部姿态数据；以及使用头部姿态数据和所拍摄的图像中的有界区域来确定所检测的对象在3D空间中的位置。

在又一实施例中，提供了用于操作电子装置的体现计算机程序的非暂时性介质，其中，电子装置用于检测对象的3D关联。电子装置包括至少一个图像传感器、惯性测量传感器、存储器和至少一个处理器。当由至少一个处理器执行程序代码时，程序代码使得电子装置使用至少一个图像传感器拍摄环境的图像；在所拍摄的图像中检测对象；限定图像中围绕所检测的对象的有界区域；从惯性测量传感器或从配置为使用惯性测量传感器和图像传感器数据计算头部姿态的另一处理器接收头部姿态数据；以及使用头部姿态数据和所拍摄的图像中的有界区域来确定所检测的对象在3D空间中的位置。

根据以下附图、说明和权利要求，其他技术特征对于本领域技术人员来说可能是显而易见的。

发明的有益效果

本公开提供了三角测量过程，该三角测量过程允许增强现实标记应用即使在较少的系统资源可用时也能继续有效地运行。这对于其中用户利用摄像机来提供场景或环境的连续视图的增强现实应用是重要的，因为用户期望该应用在用户装置上显示关于环境中的对象的准确且连续更新的信息。

附图说明

为了更完整地理解本公开及其优点，现参考结合附图的以下描述，其中，相同的附图标记代表相同的部件：

图1示出了根据本公开的实施例的示例网络配置；

图2示出了根据本公开的实施例的用于与增强现实标记应用一起使用的示例拍摄图像；

图3示出了根据本公开的实施例的增强现实对象检测和3D关联架构的示例；

图4示出了根据本公开的实施例的示例对象检测和3D关联过程的流程图；

图5示出了根据本公开的实施例的用于检测对象的3D关联的3D特征点重投影过程的图解视图；