[发明专利]基于传感数据和图像序列的塔吊吊物类别检测方法及系统

说明书

本发明提供一种基于传感数据和图像序列的塔吊吊物类别检测方法及系统，方法包括：将传感数据与图像序列同时间轴化，截取并保存在传感数据满足预设条件时所对应的图像序列；对保存的图像序列进行相对运动分析，获得图像序列间在二维平面假设下的运动关系估计；对图像进行对准，并作窗口级别的差分，根据图像差异结果进行二值化处理，经联通体分析后获得其中至少一部分联通体对应的外接矩形；将外接矩形输入至吊物分类神经网络中，检测出吊物类别结果。利用成本较低的传感器和相机采集数据，根据传感数据来优选图像序列，降低图像分析的计算量，通过较小的计算量即可获得吊物的类别结果，大幅降低了计算量和计算难度，部署成本低。

技术领域

本发明属于吊物检测技术领域，尤其涉及一种基于传感数据和图像序列的塔吊吊物类别检测方法及系统。

背景技术

塔吊吊物的类别判别检测是塔吊视频环境感应的关键功能之一。施工进度分析、智慧建造辅助管理等都依赖于吊物类别的准确判别。

现有的吊物类别检测一般可分为两大类。第一类是利用激光雷达作为感知传感器，基于3D信息进行物体类别检测。而3D数据本身相对于2D数据的规模要大得多，因此此类方法不管是否采用深度神经网络作为识别方法，都会带来很大的计算量，因此一般需要高性能计算终端或云端的支持。

第二类是以相机作为主要传感器，以深度学习为吊物检测和类别识别的端到端方法。这种方法需要利用物体检测深度神经网络对吊物进行端到端的检测+识别，由于物体检测深度神经网络需要兼顾物体检测和类别判别，因此往往需要比较复杂的架构，包括特征描述能力更强的骨干网、较好的分层金字塔特征组织的颈部网络、具有良好非极大值抑制能力的头部网络等，这往往需要较高的计算量作为支持，给算法的推理和部署带来较大的挑战。而塔吊的特殊应用环境导致无法很好地将高负载算法落地。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的目的在于克服上述现有技术存在的不足，提供一种基于传感数据和图像序列的塔吊吊物类别检测方法及系统，主要用于解决现有技术中在对塔吊吊物的类别进行检测时，需要用到高负载算法、对算力要求高、计算复杂繁琐等问题。

为了实现上述目的，第一方面，本发明提供一种基于传感数据和图像序列的塔吊吊物类别检测方法，包括以下步骤：

S10、将传感数据与图像序列同时间轴化，截取并保存在传感数据满足预设条件时所对应的图像序列；

S20、对保存的图像序列进行相对运动分析，获得图像序列间在二维平面假设下的运动关系估计；

S30、对图像进行对准，并作窗口级别的差分，根据图像差异结果进行二值化处理，经联通体分析后获得其中至少一部分联通体对应的外接矩形；

S40、将外接矩形输入至吊物分类神经网络中，检测出吊物类别结果。

在一些实施例中，在步骤S10之前，还包括步骤S1：

在塔吊吊运吊物时，采集传感数据，所述传感数据包括但不限于重量数据、旋转速度数据和移动速度数据；

判断重量数据是否超过挂重阈值，若没有超过，继续采集传感数据；

若超过，判断旋转速度数据和/或移动速度数据是否超过对应的运动阈值，若没有超过，继续采集传感数据；

若超过，则进入步骤S10。

在一些实施例中，所述图像序列被配置为由安装于塔吊小车下方的下视角相机拍摄所得，所述旋转速度数据被配置为由测量大臂旋转速度的角速度传感器监测所得，所述移动速度数据被配置为由测量塔吊小车径向移动速度的线速度传感器监测所得。

在一些实施例中，步骤S10包括：