[发明专利]根据3D语义网格的对象关系估计

权利要求书

1.一种方法，包括：

在具有处理器的电子设备处：

生成顶点和面的语义网格，所述面表示物理环境的对象的表面，并且所述顶点中的至少一些顶点具有识别对象类型的语义标签；

将所述语义网格转换成表示所述语义网格的图示，其中所述语义网格的顶点由所述图示的节点来表示；以及

使用机器学习模型来识别所述对象之间的关系，所述机器学习模型输入所述语义网格的所述图示的表示。

2.根据权利要求1所述的方法，还包括通过移除所述图示中的节点来确定所述语义网格的所述图示的所述表示。

3.根据权利要求2所述的方法，其中基于移除具有相同语义标签的节点之间的边缘来移除节点。

4.根据权利要求2所述的方法，其中通过以下操作来移除节点：

确定第一节点和第二节点通过边缘连接；

确定所述第一节点和所述第二节点具有相同的语义标签；

通过组合所述第一节点和所述第二节点来生成组合节点；以及

合并由于对节点进行组合所产生的重复边缘。

5.根据权利要求4所述的方法，其中所述组合节点识别所述第一节点和所述第二节点的平均位置。

6.根据权利要求4所述的方法，其中所述组合节点识别所述第一节点的第一位置和所述第二节点的第二位置。

7.根据权利要求1所述的方法，其中所述节点中的至少一些节点在语义上被标记为地板、桌子、椅子、墙壁或天花板。

8.根据权利要求1所述的方法，其中所述图示包括连接与相同语义标签相关联的节点的边缘和连接与不同语义标签相关联的节点的边缘。

9.根据权利要求1所述的方法，其中识别关系包括识别所述对象通过所述关系相关联的概率。

10.根据权利要求1所述的方法，其中所述关系中的一个关系识别：

第一对象在第二对象之上；

所述第一对象紧挨所述第二对象；

所述第一对象面向所述第二对象；或者

所述第一对象附接到所述第二对象。

11.根据权利要求1所述的方法，其中所述机器学习模型还将以下各项用作输入：

所述物理环境的图像；或者

与所述物理环境中的视点相关联的姿态。

12.根据权利要求1所述的方法，还包括提供表示所述对象和所述关系的图示。

13.根据权利要求1所述的方法，还包括：

接收输入以将虚拟对象定位在包括所述对象的计算机生成现实CGR环境中；

基于所述对象之间的所述关系和所述输入来确定所述虚拟对象在所述CGR环境中的位置；以及

提供所述CGR环境。

14.根据权利要求1所述的方法，还包括使用机器学习模型更新所述图示的所述表示的节点的对象分类标签。

15.根据权利要求1所述的方法，其中所述机器学习模型使用训练数据来训练，所述训练数据通过以下操作而生成：

对针对合成环境的独立对象的多个网格进行建模，所述独立对象与对象类型相关联并且所述网格与语义标签相关联；

基于所述多个网格确定体积表示；

基于所述体积表示确定组合网格；

确定所述独立对象之间的关系。