[发明专利]基于传感数据和图像序列的塔吊吊物类别检测方法及系统

权利要求书

1.一种基于传感数据和图像序列的塔吊吊物类别检测方法，其特征在于，包括以下步骤：

S10、将传感数据与图像序列同时间轴化，截取并保存在传感数据满足预设条件时所对应的图像序列；

S20、对保存的图像序列进行相对运动分析，获得图像序列间在二维平面假设下的运动关系估计；

S30、对图像进行对准，并作窗口级别的差分，根据图像差异结果进行二值化处理，经联通体分析后获得其中至少一部分联通体对应的外接矩形；

S40、将外接矩形输入至吊物分类神经网络中，检测出吊物类别结果；

其中，S20包括：

将保存的图像序列按比例缩小，获得图像的低分辨率缩略图；

选取前后时刻相邻的图像，对场景作二维平面化处理，利用对应的缩略图进行相对运动分析，采用模板匹配搜索二维旋转参数和平移参数；在进行模板匹配时，采用归一化相关系数进行相似性测度，其中，旋转的搜索范围为±45°，平移的搜索范围为±图像边长/2；搜索出相关系数最大位置对应的旋转参数和平移参数，构建图像序列运动关系的二维仿射变换矩阵，实现图像序列间在二维平面假设下的运动关系估计；

获得图像序列间在二维平面假设下的运动关系估计；

其中，S30包括：

针对用于进行相对运动分析的两帧相邻图像，以其中一张图像的每个像素点作为中心，取一个处理窗口Tp；

在另一张图像上，以二维仿射变换计算后的同名点作为中心点，取一个面积更大的处理窗口Tr；

利用归一化相关系数，计算处理窗口Tp在处理窗口Tr中的最佳匹配位置，并将最佳匹配位置处的归一化相关系数p作为像素差异度；

判断相关系数p是否大于差异度阈值，若大于，保留对应像素，得到前景图；

按八领域搜索方式计算前景图中的联通体，筛选出联通面积大于面积阈值的联通体，并按面积大小排序，计算联通体的最小面积外接矩形。

2.如权利要求1所述的一种基于传感数据和图像序列的塔吊吊物类别检测方法，其特征在于，在步骤S10之前，还包括步骤S1：

在塔吊吊运吊物时，采集传感数据，所述传感数据包括但不限于重量数据、旋转速度数据和移动速度数据；

判断重量数据是否超过挂重阈值，若没有超过，继续采集传感数据；

若超过，判断旋转速度数据和/或移动速度数据是否超过对应的运动阈值，若没有超过，继续采集传感数据；

若超过，则进入步骤S10。

3.如权利要求2所述的一种基于传感数据和图像序列的塔吊吊物类别检测方法，其特征在于，所述图像序列被配置为由安装于塔吊小车下方的下视角相机拍摄所得，所述旋转速度数据被配置为由测量大臂旋转速度的角速度传感器监测所得，所述移动速度数据被配置为由测量塔吊小车径向移动速度的线速度传感器监测所得。

4.如权利要求2所述的一种基于传感数据和图像序列的塔吊吊物类别检测方法，其特征在于，步骤S10包括：

识别传感数据与图像序列的时间戳，识别出当所述传感数据满足预设条件后的图像序列，并进行保存；

判断当前重量数据是否超过挂重阈值，若在设定时间内所述重量数据持续小于挂重阈值，停止保存图像序列，进入步骤S20；否则，继续保存图像序列。

5.如权利要求4所述的一种基于传感数据和图像序列的塔吊吊物类别检测方法，其特征在于，在作窗口级别的差分时，处理窗口Tp和处理窗口Tr进行松弛匹配搜索。

6.如权利要求5所述的一种基于传感数据和图像序列的塔吊吊物类别检测方法，其特征在于，步骤S40包括：

利用外接矩形在原始图像中截取子图像，将子图像输入至训练好的吊物分类神经网络中；

利用吊物分类神经网络计算每个子图像的类别，得到类别置信度；

输出类别置信度最高的检测结果，作为吊物类别结果。

7.一种应用于如权利要求1至6任一项所述的基于传感数据和图像序列的塔吊吊物类别检测方法的系统，其特征在于，包括：

图像保存模块，用于将传感数据与图像序列同时间轴化，截取并保存在传感数据满足预设条件时所对应的图像序列；

运动分析模块，用于对保存的图像序列进行相对运动分析，获得图像序列间在二维平面假设下的运动关系估计；

差分处理模块，用于对图像进行对准，并作窗口级别的差分，根据图像差异结果进行二值化处理，经联通体分析后获得其中至少一部分联通体对应的外接矩形；

结果检测模块，用于将外接矩形输入至吊物分类神经网络中，检测出吊物类别结果。