[发明专利]根据3D语义网格的对象关系估计

说明书

本公开涉及根据3D语义网格的对象关系估计。本文所公开的具体实施提供了基于表示物理环境的3D几何结构的顶点和面的原始语义网格来确定对象之间的关系的系统和方法。此类原始语义网格可被生成并用于向估计物理环境中的对象之间的关系的机器学习模型提供输入。例如，该机器学习模型可以输出节点和边缘的图示，该图示指示花瓶在桌面之上或者花瓶的特定实例V1在桌子的特定实例T1之上。

相关申请的交叉引用

本申请要求2019年9月10日提交的美国临时申请序列号62/898,049的权益，该申请全文以引用方式并入本文。

技术领域

本公开整体涉及确定物理环境中的对象以及该对象之间的关系，并且具体地涉及使用机器学习来估计关系并对物理环境中的对象进行分类的系统、方法和设备。

背景技术

各种计算机视觉技术用于识别物理环境中的物理对象。例如，可以自动评估由相机捕获的图像以确定物理环境包括桌子、椅子和花瓶。然而，此类技术可提供很少或不提供关于对象之间关系的信息。例如，这些技术可能不确定花瓶在桌面上还是椅子紧挨桌子并面向桌子。

发明内容

本文所公开的具体实施提供了基于表示物理环境的3D几何结构的顶点和面的原始语义网格来确定对象之间的关系的系统和方法。此类原始语义网格可被生成并用于向估计物理环境中的对象之间的关系的机器学习模型提供输入。例如，该机器学习模型可以输出节点和边缘的图示，该图示指示花瓶在桌面之上或者花瓶的特定实例V1在桌子的特定实例T1之上。

一些具体实施提供了一种估计或以其他方式确定物理环境中的对象之间的关系的方法。该示例性方法可通过使用处理器来执行指令的计算设备来实现。该方法生成顶点和面的语义网格。语义网格的3D形状表示物理环境的对象表面的3D几何结构。此外，顶点中的至少一部分具有识别对象类型(例如，桌子、椅子、花瓶等)的语义标签。例如，在此类语义网格中，地板表面上的顶点可被标记为“地板”，并且椅子表面上的顶点可被标记为“椅子”。语义网格中的相邻顶点形成面，例如，三个“地板”顶点可限定表示地板表面的一部分的面。每个顶点可存储位置(例如，x、y、z位置信息)或以其他方式与该位置相关联。

一个或多个机器学习算法可用于生成语义网格。在一些具体实施中，可以基于物理环境的一组一个或多个图像生成语义网格，例如使用提供表示物理环境的表面的三维(3D)三角形网格的3D重建技术(例如，算法或机器学习模型)和/或用于对物理环境的对象进行注释或分类的语义图像分割技术(例如，算法或机器学习模型)。

该方法可将原始语义网格转换成具有基于语义网格的顶点和面而确定的节点和边缘的图示。该图示可以完整形式或以简化形式表示。例如，该方法可执行简化技术以通过减少节点数来降低图示的复杂性。

该方法使用一个或多个机器学习模型来估计对象之间的关系。在一些具体实施中，该方法将图示的表示(例如，完整图示或图示的简化版本)输入到一个或多个机器学习模型(例如，神经网络)中。该方法还可以基于图形的表示和/或估计的关系使用一个或多个机器学习模型对对象进行分类或更新先前确定的对象分类标签。在一些具体实施中，该方法对对象进行分类或更新分类标签。使用原始语义网格的简化表示(例如，简化图)作为机器学习模型的输入可提高该机器学习模型的准确性和效率。使用简化版本作为输入可允许使用语义网格的表示(例如，图示或简化图示)而不是使用随机的或所有初始化连接的节点来获得准确的结果。在一些具体实施中，机器学习模型输出表示对象及其关系的图示。在一些具体实施中，机器学习模型输出对象之间的成对关系。

在一些具体实施中，由机器学习模型产生的对象之间的关系是使用概率的估计，例如，提供桌子T1在地板F1上的可能性为99％，容器C1在桌子T1上的可能性为90％，椅子C1紧挨桌子T1的可能性为75％，椅子C2面向电视TV1的可能性为75％，把手H1附接到门D1的可能性为75％，等等。