[发明专利]使用比例图和三维模型的基于机器学习的对象标识

说明书

系统基于环境的走查视频和带注释的平面布置图自动标识环境中的对象。带注释的平面布置图指示预期在环境中的对象的位置和类型。系统接收走查视频并生成环境的3D模型。该系统将机器学习模型应用于走查视频，以标识捕获对象的帧内的区域。在标识包括对象的走查视频的帧内的区域之后，系统修改3D模型的对应区域以包括所标识的对象。针对每个所标识的对象，系统基于经修改的3D模型和带注释的平面布置图的比较来确定所标识的对象存在于环境中的位置处的可能性。

相关申请的交叉引用

本申请要求于2020年5月29日提交的美国临时申请序列号63/032,452的权利，该临时申请以整体内容通过引用并入本文。

技术领域

本公开涉及标识环境中的对象，尤其涉及基于环境的注释图和三维模型使用机器学习来标识环境中的对象。

背景技术

传统上，为了确定环境中对象的类型和位置，用户捕获环境的走查(walkthrough)视频并手动地标识和标记走查视频中的对象。例如，在施工场地，在建筑项目的不同部分上同时执行各种任务，并且难以跟踪建筑项目的每个方面的进度以确定建筑项目是否按时跟踪到完成。总承包商可能希望通过捕获记录施工场地条件的施工场地的走查视频来监视施工场地的进度。然后，总承包商可以可视地检查走查视频并通过标识图像中存在的对象来标识所安装的对象(例如，灯具、橱柜、窗户、干式墙、油漆、水泥)。总承包商可以周期性地捕获新的走查视频并确定已经安装的附加对象以跟踪建筑项目随时间的进度。然而，手动检查视频以计数和测量对象是乏味且耗时的。

发明内容

空间索引系统接收利用预期在环境中的对象的位置来注释环境的比例图。对象与对象类型相关联，并且空间索引系统根据比例图确定与预期在环境中的每个对象相关联的对象的位置和类型。空间索引系统还针对每个对象类型确定预期在环境中的对象的总数量。当视频捕获系统沿相机路径移动通过环境时，空间索引系统还接收由视频捕获系统捕获的走查视频。走查视频包括描述给定时间的环境条件的图像帧序列。

空间索引系统执行对象量化操作以标识在走查视频的图像帧中捕获的对象的对象类型和位置，从而在捕获走查视频时自动估计针对环境中每个对象类型的对象数量。为了估计数量，空间索引系统生成包括在图像帧中标识的对象的环境的三维(3D)模型。空间索引系统使用机器学习模型来确定3D模型中的每个所标识的对象的位置和对象类型。空间索引系统确定针对每个所标识的对象的概率，其中该概率指示具有该对象类型的对象存在于环境中的可能性。当概率大于预定阈值时，空间索引系统确定所标识的对象存在于环境中。基于该概率，空间索引系统确定3D模型中每个对象类型的估计数量。针对每个对象类型，对象类型的估计数量可以与对象类型的预期总数量进行比较并呈现给用户。

附图说明

图1示出了根据一个实施例的空间索引系统的系统环境。

图2A示出了根据一个实施例的相机路径模块的框图。

图2B示出了根据一个实施例的模型生成模块的框图。

图2C示出了根据一个实施例的图示带注释的3D模型和平面布置图的比较的框图。

图3A-图3E示出了根据一个实施例的由模型可视化模块提供的模型可视化界面的部分。

图4A-图4E示出了根据一个实施例的由进度可视化模块提供的进度可视化界面。

图5是示出根据一个实施例的用于使用平面布置图中的特征对帧进行自动空间索引的示例方法的流程图。

图6是示出根据一个实施例的用于使用强力搜索将相机路径与平面布置图对准的示例方法的流程图。

图7A是示出根据一个实施例的用于使用平面布置图的网格地图来将相机路径与平面布置图对准的示例方法的流程图。