[发明专利]基于房间扫描的平面图生成

说明书

本发明题为“基于房间扫描的平面图生成”。本文所公开的各种具体实施包括使用基于传感器数据生成的物理环境的三维(3D)表示来生成平面图和测量结果的设备、系统和方法。

技术领域

本公开整体涉及生成物理环境的二维和三维几何表示，并且具体地，涉及基于在物理环境中检测到的信息生成几何表示的系统、方法和设备。

背景技术

平面图在设计、理解和重塑室内空间中起到重要作用。平面图通常有效地传达物理环境的几何和语义信息。例如，用户可查看平面图以快速识别房间范围、墙结构和拐角、门和窗的位置以及对象布置。

提供基于计算机的系统以基于传感器数据自动生成平面图、房间测量或对象测量存在许多障碍。获取的关于物理环境的传感器数据(例如，图像和深度数据)可能是不完整的或不足以提供准确的平面图和测量。例如，室内环境通常包含各种对象，诸如灯、桌子、椅子等，这些对象可能隐藏了房间的建筑线条，而这些建筑线条可用于检测房间的边缘以构建准确的平面图。又如，图像和深度数据通常缺少语义信息，并且在没有此类数据的情况下生成的平面图和测量可能缺乏准确性。

现有技术不允许使用移动设备自动、准确且有效地生成平面图和测量，例如，基于用户在房间内走动时捕获照片或视频或其他传感器数据。此外，现有技术可能无法实时提供足够准确和有效的平面图和测量(例如，扫描期间立即的平面图/测量)环境。

发明内容

本文所公开的各种具体实施包括使用物理环境的三维(3D)表示来生成平面图和测量的设备、系统和方法。可基于传感器数据诸如图像和深度传感器数据来生成物理环境的3D表示。在一些具体实施中，使用物理环境的语义标记的3D表示来促进平面图和测量的生成。一些具体实施执行物理环境的3D点云的语义分割和标记。本文所公开的技术可通过使用编码到二维(2D)侧向域上的语义3D表示(诸如语义标记的3D点云)来实现各种优点。在2D侧向域中使用语义3D表示可促进有效识别用于生成平面图或测量的结构。

能够以各种格式提供平面图。在一些具体实施中，平面图包括房间的2D俯视图。平面图可图形化地描绘出房间的边界，例如，通过使用线条或其他图形特征图形化地描绘墙、屏障或房间范围的其他限制。平面图可图形化地描绘出墙特征(诸如墙边缘、门和窗)的位置和几何形状。平面图可图形化地描绘出房间内的对象，诸如沙发、桌子、椅子、器具等。平面图可包括标识房间中的边界、墙、门、窗和对象的标识符，例如包括标识此类元素的文本标签或参考数字。平面图可包括对房间中的边界、墙边缘、门、窗和对象的测量的指示，例如包括指定墙的长度、桌子的直径、窗的宽度等的数字。

根据一些具体实施，基于用户执行房间扫描(例如，移动某移动设备以捕获房间中用户周围的图像和深度数据)来创建平面图。一些具体实施在房间扫描期间提供初步2D平面图的预览。例如，当用户在捕获传感器数据的房间四处走动时，用户的设备可显示正在生成的初步2D平面图的预览。该预览是“实时的”，即在用于生成初步2D平面图的传感器数据流或传感器数据组的持续捕获期间提供该预览。为了启用初步2D平面图的实时预览，可以(至少初始地)与最终扫描后平面图不同地生成预览。在一个示例中，在没有用于生成最终扫描后平面图的某些后处理技术(例如，微调、拐角校正等)的情况下生成预览。在其他示例中，实时预览可使用比用于生成最终扫描后平面图的计算密度更低的神经网络。2D语义数据的使用(例如，针对房间的不同层)还可促进使预览确定对于实时显示足够有效。

在一些具体实施中，可基于单独识别墙结构(例如，墙边缘、门和窗)以及检测对象(例如，家具、器具等)的边界框来生成平面图。可单独检测墙结构和对象，并且因此使用不同的技术和结果进行组合以生成表示墙结构和对象两者的平面图。

在一些具体实施中，平面图创建过程基于在多个层中编码3D语义数据的2D表示来识别墙结构(例如，墙边缘)。例如，3D语义数据可被分割成用于识别房间的墙边缘位于何处的多个水平层。