[发明专利]使用图像处理的状况检测

说明书

使用图像处理的状况检测可以包括接收与运载工具沿运载工具路径的移动有关的遥测数据。使用图像处理的状况检测还可以包括接收由运载工具捕获的图像，并且基于遥测数据和图像，生成针对图像的至少一个海拔地图，以及针对图像的世界坐标对准数据。使用图像处理的状况检测还可以包括检测图像中的实体、以及在图像中检测到的实体的位置，联合在图像中检测到的实体的位置以确定图像中检测到的实体的联合位置，基于联合位置来生成与运载工具路径和图像中检测到的实体有关的掩码，并且基于针对图像的实体掩码和世界坐标对准数据来重建针对某种类型的实体的三维实体模型。

背景技术

无人驾驶运载工具(UV)，其可以包括无人驾驶飞行器(UAV)、无人机、无人驾驶陆地运载工具、甚至协作机器人等，通常在其上无人的情况下进行操作。诸如飞机、直升机、有人驾驶陆地运载工具等有人驾驶运载工具通常在其上有人的情况下进行操作。运载工具(包括无人驾驶运载工具和有人驾驶运载工具)与成像系统(例如摄像机、红外(IR)传感器等)可以被一起用来捕捉感兴趣区的图像。可以关于布置在感兴趣区中的实体来对图像进行分析。

附图说明

本公开的特征通过以下附图中示出的示例来说明。在下面的附图中，相同的标号表示相同的元件，其中：

图1图示了根据本公开的示例的使用图像处理系统的状况检测的详细架构；

图2图示了根据本公开的示例的使用图1的图像处理系统的状况检测的总体执行；

图3图示了根据本公开的示例的使用图1的图像处理系统的状况检测的将数据划分为分块；

图4图示了根据本公开的示例的使用图1的图像处理系统的状况检测的三维模型生成器的数据流；

图5图示了根据本公开的示例的在三维模型生成器中使用的全球定位系统(GPS)参考数据准备的过程；

图6图示了根据本公开的示例的三维模型生成器的海拔地图生成；

图7图示了根据本公开的示例的用于使用图1的图像处理系统的状况检测的实体识别器的数据流；

图8图示了根据本公开的示例的由使用图1的图像处理系统的状况检测来监测的线性基础设施实体区；

图9图示了根据本公开的示例的实体识别器的总体实现方式和执行；

图10图示了根据本公开的示例的用于实体识别器的地面分类和地面掩码生成；

图11图示了根据本公开的示例的实体识别器的地面海拔水平估计；

图12图示了根据本公开的示例的用于使用图1的图像处理系统的状况检测的训练数据准备；

图13图示了根据本公开的示例的用于实体识别器的塔检测和塔掩码生成；

图14图示了根据本公开的示例的用于实体识别器的电线检测和线路的感兴趣区域(ROI)掩码生成；

图15图示了根据本公开的示例的用于实体识别器的植被检测和植被掩码生成；

图16图示了根据本公开的示例的用于实体识别器的未知对象检测和未知对象掩码生成；

图17和图18图示了根据本公开的示例的用于实体识别器的区域创建；

图19图示了根据本公开的示例的用于实体识别器的区域联合；

图20A至图20C图示了根据本公开的示例的用于使用图1的图像处理系统的状况检测的三维曲线重建器；

图21图示了根据本公开的示例的用于使用图1的图像处理系统的状况检测的风险分析器的风险分析器数据流；

图22至图24图示了根据本公开的示例的用于风险分析器的区划风险评估；