[发明专利]使用比例图和三维模型的基于机器学习的对象标识

权利要求书

1.一种方法，包括：

访问建筑物的部分的平面布置图，所述平面布置图标识所述建筑物的所述部分内的一个或多个预期对象的位置，其中所述一个或多个预期对象与一个或多个对象类型相关联；

针对每个对象类型，基于被访问的所述平面布置图来确定所述建筑物的所述部分中的所述对象类型的一个或多个预期对象；

从相机系统接收视频，所述视频包括当所述相机系统被移动通过所述建筑物的所述部分时被捕获的多个图像帧；

标识所述多个图像帧中的一个或多个对象，所述一个或多个对象中的每个对象与对象类型以及所述建筑物的所述部分内的位置相关联，其中所述对象被布置在所述建筑物的所述部分的所述位置；

从所述多个图像帧生成所述建筑物的所述部分的三维(3D)模型；

针对所标识的所述一个或多个对象中的每个所标识的对象，修改所述3D模型的区域以包括所述所标识的对象，所述区域对应于所述建筑物的所述部分内的所述位置，其中所述所标识的对象被布置在所述建筑物的所述部分的所述位置；

针对所标识的所述一个或多个对象中的每个所标识的对象，基于经修改的所述3D模型和被访问的所述平面布置图，确定所述所标识的对象存在于所述建筑物的所述部分内的所述位置处的概率；

针对每个对象类型，确定所述一个或多个预期对象和与大于预定阈值的概率相关联的所标识的一个或多个对象之间的差异；以及

针对每个对象类型，修改向用户显示的界面以呈现所确定的所述差异。

2.根据权利要求1所述的方法，其中所述3D模型基于由激光雷达系统捕获的3D信息而被生成。

3.根据权利要求2所述的方法，其中所述平面布置图利用与至少一个所述对象类型相关联的所述一个或多个预期对象的尺寸而被注释。

4.根据权利要求1所述的方法，其中针对所标识的所述一个或多个对象中的每个所标识的对象，还基于所述所标识的对象存在于所述位置处的一个或多个先前确定的概率来确定所述所标识的对象存在于所述位置处的概率。

5.根据权利要求1所述的方法，其中标识所述多个图像帧中的所述一个或多个对象还包括：

针对每个图像帧：

将机器学习模型应用于所述图像帧，所述机器学习模型被配置为确定与在所述图像帧中被捕获的所述对象相关联的所述位置和所述对象类型，并且基于所确定的所述位置和所述对象类型来对所述图像帧中的像素进行分类。

6.根据权利要求5所述的方法，其中所述机器学习模型基于包括训练环境的训练图像帧的训练数据集而被训练，所述训练图像帧利用在所述训练图像帧中被捕获的一个或多个对象的位置以及与所述一个或多个对象相关联的对象类型而被注释。

7.根据权利要求5所述的方法，其中所述机器学习模型基于对象检测和语义分割来确定与所述对象相关联的所述位置和对象类型。

8.根据权利要求5所述的方法，其中针对所标识的所述一个或多个对象中的每个所标识的对象，修改所述3D模型的区域还包括：

将所述图像帧中的经分类的所述像素投影到所述3D模型中的对应点。

9.根据权利要求1所述的方法，其中针对所标识的所述一个或多个对象中的每个所标识的对象确定所述所标识的对象存在于所述位置处的概率还包括：

将机器学习模型应用于经修改的所述3D模型和被访问的所述平面布置图，所述机器学习模型被配置为：

标识与所述所标识的对象相同的对象类型和相同的位置相关联的预期对象；

确定包括所述预期对象的被访问的所述平面布置图的区域与包括所述所标识的对象的所述3D模型的区域之间的重叠；以及

基于所述重叠来确定所述所标识的对象存在的概率。

10.根据权利要求9所述的方法，其中所述机器学习模型基于训练数据集而被训练，所述训练数据集包括训练环境的带注释的3D模型和所述训练环境的带注释的平面布置图。