[发明专利]一种融合时空特征的施工高空作业失稳状态检测方法

权利要求书

1.一种融合时空特征的施工高空作业失稳状态检测方法，其特征在于，通过时序特征聚集网络模型，人体空间定位网络模型和安全状态检测网络模型级联的神经网络模型实现，方法运行包含如下步骤：

步骤S1：通过时序特征聚集网络模型，提取检测目标时间运动特征，计算图像序列帧间像素的运动信息；

步骤S2：通过人体空间定位网络模型，提取检测目标空间定位特征，融合步骤S1获得的时间运动特征来获取建筑工人骨骼关节点的空间坐标信息；

步骤S3：依据步骤S2获得的建筑工人骨骼关节空间坐标信息，通过安全状态检测网络模型，实现高空作业失稳状态检测。

2.根据权利要求1所述的一种融合时空特征的施工高空作业失稳状态检测方法，其特征在于，步骤S1和S2中，时序特征聚集网络模型与人体空间定位网络模型为主干特征提取网络，采用并联方式连接；步骤S3中，安全状态检测网络模型为结果判断输出模型，串联于时序特征聚集网络模型与人体空间定位网络模型之后。

3.根据权利要求1所述的一种融合时空特征的施工高空作业失稳状态检测模型，其特征在于，所述时序特征聚集网络模型由帧间联系网络和特征补偿网络组成；

所述帧间联系网络通过图像像素在离散时间序列上的变化情况来计算临近帧间的相对关系；

所述特征补偿网络依据正常图像帧和帧间关系对图像损失帧进行像素预测与补偿，获取点像素的运动信息。

4.根据权利要求1所述的一种融合时空特征的施工高空作业失稳状态检测模型，其特征在于，所述的人体空间定位网络模型由骨骼关节定位网络、时空特征融合网络和人体区域建议网络组成；

所述骨骼关节定位网络对序列图像中建筑工人骨骼关节点进行定位提取，预测头盖骨、钩椎关节、左右肩胛关节、骶骨、左右髋关节和左右踝关节共9个关键点，分别定位关键点的空间位置；

所述时空特征融合网络实现步骤S1中时序特征与关键点的空间位置的融合，结合时序特征聚集网络模型输入的邻帧像素运动信息对每帧图像定位的人体关键点的空间位置进行复核、调整，并预测图像损失帧中建筑工人的骨骼关节点位置；

所述人体区域建议网络利用头盖骨、左右肩胛关节、左右髋关节和左右踝关节7个关键点的空间位置信息回归建筑工人人体区域的外围边框，并以边框框选的人体区域图像的左下角为原点建立像素坐标系，提取各骨骼关节点的空间坐标信息。

5.根据权利要求1所述的一种融合时空特征的施工高空作业失稳状态检测模型，其特征在于，所述安全状态检测网络模型由特征增强网络和施工状态分类器共同构成；

所述施工状态分类器为阈值分类器，选取建筑工人施工作业侧面图像，利用步骤S2获取的人体空间定位网络模型提取的髋关节和踝关节空间坐标信息，先对图像中髋关节和踝关节的相对空间位置进行判断，其中每侧髋关节坐标为(x_i,y_i)，踝关节坐标为(x_j,y_j)，当左、右踝关节空间位置位于两髋关节两侧或在同一竖直方向时，则判断为正常施工作业；

x_j1≤x_i1≤x_j2

x_j1≤x_i2≤x_j2

当左、右踝关节空间位置相对于两髋关节在同侧时，以左、右髋关节和对应侧踝关节间连线的倾斜度作为施工状态判别指标，当倾斜角α均小于倾斜阈值时，判别为失稳施工作业，反之即正常施工作业；

6.根据权利要求5所述的一种融合时空特征的施工高空作业失稳状态检测模型，其特征在于，所述倾斜阈值是通过聚类方式获取的，倾斜阈值为60～70度。