[发明专利]一种感知工人安全状况的方法

权利要求书

1.一种感知工人安全状况的方法，其特征在于，包括：

S1：采集多个历史实时建筑工地视频并基于开源动作识别数据集，构建工人安全状况数据集；

S2：基于工人安全状况数据集，对待训练多任务神经网络MMY进行训练获得最终多任务神经网络MMY；

S3：根据最终多任务神经网络MMY对当前实时建筑工地视频进行检测，获得输出结果，基于输出结果，进行多任务推理，获得各个子任务的推理结果；

其中所述S3：基于输出结果，进行多任务推理，获得各个子任务的推理结果，包括：

获取防护用品穿戴输出结果以及防护用品穿戴报警设置信息，确定当前实时建筑工地视频的被标定目标的定位图像，计算定位图像的图像质量，并获取预警推理对应的图像置信区间；

基于图像置信区间对被标定目标进行过滤，过滤低置信度目标，获得最终检测目标，并确定最终检测目标的中心定位；

基于中心定位，将最终检测目标的对应的防护用品穿戴输出结果与防护用品穿戴报警设置信息进行对比，判定最终检测目标的对应的防护用品穿戴输出结果与防护用品穿戴报警设置信息是否匹配；

同时，获取标定危险区域的位置区间以及全部被标定目标对应的第二中心定位坐标，分别判断第二中心定位坐标是否在位置区间内；

获取全部被标定目标的危险动作输出结果，并计算预设时间区间内连续视频帧对应的危险动作占比，并判断危险动作占比是否大于危险报警阈值。

2.根据权利要求1所述的一种感知工人安全状况的方法，其特征在于，S1：采集多个历史实时建筑工地视频并基于开源动作识别数据集，构建工人安全状况数据集，包括：

获取多个历史实时建筑工地视频，基于预设时间周期在历史实时建筑工地视频截取视频片段，建立视频数据集；

根据开源动作识别数据集，识别工人动作，确定视频数据集中各个视频片段对应的工人的安全状况；

基于所述安全状况，确定对应历史实时建筑工地视频对应的安全状态标签，构建工人安全状况数据集；

其中，安全状态标签包括防护用品类别、危险区域和动作类别多种标签。

3.根据权利要求1所述的一种感知工人安全状况的方法，其特征在于，S2：基于工人安全状况数据集，对待训练多任务神经网络MMY进行训练获得最终多任务神经网络MMY，包括：

获取工人安全状况数据集中的历史实时建筑工地视频，对待训练多任务神经网络MMY进行训练，初级多任务神经网络MMY；

基于所述初级多任务神经网络MMY，对所述历史实时建筑工地视频进行检测，获得检测结果；

当检测结果与历史实时建筑工地视频携带的安全状态标签一致时，判定初级多任务神经网络MMY为最终多任务神经网络MMY。

4.根据权利要求3所述的一种感知工人安全状况的方法，其特征在于，包括：

待训练多任务神经网络MMY的骨干网络为MViTv2；

MViTv2包括空间流分支和时间流分支两个主要分支，同时，实时空间流分支上还包含以单阶段目标检测算法YOLOv7为基础的Neck分支；

其中，空间流分支，用于提取历史实时建筑工地视频中每个单帧对应的红绿蓝三通道RGB的空间特征；

时间流分支，用于基于通过历史实时建筑工地视频产生的多帧密集光流Optical flow提取时间特征，捕获工人动作变化信息；

Neck分支，用于采集历史实时建筑工地视频各个阶段的空间特征图的网络层，并基于所述网络层对多阶段输出的多尺度特征图的进行融合。

5.根据权利要求4所述的一种感知工人安全状况的方法，其特征在于，基于所述初级多任务神经网络MMY，对所述历史实时建筑工地视频进行检测，获得检测结果，包括：

基于所述初级多任务神经网络MMY，获取所述历史实时建筑工地视频的空间特征以及时间特征进行特征融合，输出工人的危险动作检测信息；

同时，基于Neck分支的多阶段输出的多尺度特征图的融合结果，输出防护用品、危险区域检测信息；

将危险动作检测信息、防护用品、危险区域检测信息进行融合输出防护用品穿戴、危险区域和危险动作的检测结果。