[发明专利]用于检测和识别AR/VR场景中的特征部的方法和设备

说明书

本发明题为“用于检测和识别AR/VR场景中的特征部的方法和设备”。本发明公开了一种方法，该方法包括获得由第一姿势表征的第一传递性图像数据。该方法包括获得第一传递性图像数据中的像素的相应的像素表征矢量。该方法包括根据确定特征部的像素表征矢量满足特征部置信度阈值，识别第一传递性图像数据内的该对象的特征部。该方法包括显示第一传递性图像数据和与该特征部对应的AR显示标记。该方法包括获得由第二姿势表征的第二传递性图像数据。该方法包括将AR显示标记转换成与第二姿势相关联的位置，以便跟踪该特征部。该方法包括显示第二传递性图像数据，并基于转换来保持显示与对象的特征部对应的AR显示标记。

相关申请的交叉引用

本专利申请要求2018年6月1日提交的美国临时专利申请No.62/679,166的优先权，该专利申请全文以引用方式并入本文。

技术领域

本公开涉及增强现实场景理解，并且具体地涉及用于增强现实场景的真实世界特征部的检测和跟踪。

背景技术

在增强现实/虚拟现实(AR/VR)场景中检测和识别特征部在技术上具有挑战性，并且从用户体验的角度来看具有挑战性。例如，使用关于AR/VR场景的深度信息以便检测、识别和跟踪AR/VR场景的传递性图像数据内的真实世界特征部是有问题的。不仅严重依赖于深度信息资源，还不能产生准确可靠的AR/VR场景信息，因为先前可用的过程对姿势信息的变化不太有效。这减少了设备向用户显示的AR/VR场景的定性和定量特征的量，诸如对象和特征部识别信息以及对应的测量信息。因此，劣化了用户体验和与其他应用的集成，因为在用于生成最终显示给用户的AR/VR图像数据的合成过程期间，AR/VR内容无法被准确地映射到真实世界特征部。

发明内容

根据一些具体实施，在具有一个或多个处理器、非暂态存储器和显示器的电子设备处执行一种方法。该方法包括从图像传感器获得由与图像传感器的视场相关联的第一姿势表征的第一传递性图像数据。该方法还包括获得第一传递性图像数据中像素的至少子集的相应的像素表征矢量。该方法还包括：根据确定对象的特征部的像素表征矢量满足特征部置信度阈值，识别由第一姿势表征的第一传递性图像数据内的对象的特征部。该方法还包括：在显示器上显示第一传递性图像数据和与对象的特征部对应的增强现实(AR)显示标记。该方法还包括：从图像传感器获得由与图像传感器的视场相关联的第二姿势表征的第二传递性图像数据。该方法还包括将AR显示标记转换成与第二姿势相关联的位置，以便跟踪对象的特征部。该方法还包括在显示器上显示第二传递性图像数据并基于该转换来保持显示与对象的特征部对应的AR显示标记。

根据一些具体实施，在具有一个或多个处理器、非暂态存储器和显示器的电子设备处执行一种方法。该方法包括在由与图像传感器的视场相关联的姿势表征的传递性图像数据中识别与一组可分辨的特征部相关联的第一组像素。该方法还包括：根据确定第一组像素满足平面标准，将第一平面拟合到第一组像素。该方法还包括获得针对传递性图像数据中的像素的像素表征矢量，其中像素表征矢量中的每一个包括一个或多个标签。该方法还包括识别与第一组像素邻近的第二组像素，其中第二组像素的像素表征矢量和第一组像素的像素表征矢量满足对象置信度阈值。该方法还包括将第二平面拟合到第一组像素和第二组像素，其中第一平面与第二平面共面。

根据一些具体实施，在具有一个或多个处理器、非暂态存储器和显示器的电子设备处执行一种方法。该方法包括：从由多个空间姿势表征的传递性图像数据生成空间的三维(3D)点云，其中多个空间姿势中的每一个都与图像传感器的相应视场相关联。该方法还包括获得针对3D点云中的点的表征矢量，其中像素表征矢量中的每一个包括一个或多个标签。该方法还包括对来自3D点云中的一组点消除歧义，其中针对该组点的表征矢量满足对象置信度阈值。该方法还包括生成针对该组点的体积区域，其中该体积区域对应于空间中对象的3D表示。该方法还包括合成与体积区域相关联的图像传感器的虚拟化俯视姿势对应的空间的二维(2D)平面布置图。