[发明专利]一种基于人工智能的工人施工状态监测方法

权利要求书

1.一种基于人工智能的工人施工状态监测方法，其特征在于，具体步骤如下：

步骤一、采集数据集

采集建筑工程中工人施工时的状态的视频作为数据集，每一个工人施工状态采集至少一百段视频；将视频做上三个类别标签，标签包含工人的行为、视频画面中工人附近的标志物和工人施工状态；其中，工人的行为包括蹲着、站立、俯身和抬手，视频画面中工人附近的标志物包括钢筋、墙、砖、梁、板和柱，工人施工状态包括砌砖、支模板和绑扎钢筋；将视频采用k折交叉法分为k个子数据集，然后将其中一个子数据集作为测试集进行模型评估，剩余k-1个作为训练集；

步骤二、提取特征

运用深度学习姿态估计框架Openpose对步骤一中的视频进行识别，使其输出视频中工人18个关节点坐标，关节点包括鼻子、左肘、左膝盖、颈部、左腕、左踝、右肩、右臀、右眼、右肘、右膝、左眼、右腕、右踝、右耳、左肩、左臀部和左耳朵，若部分身体关节点被遮挡，则无需识别；

步骤三、向量化处理

将步骤二产生的工人关节点坐标进行向量化处理，每个向量为相邻两个关节点坐标之差，代表一节骨架，被遮挡的骨架用零向量代替，一共产生17个2维向量；

步骤四、训练LSTM网络模型

搭建LSTM网络模型，输入层设置17个神经元对应17个二维向量，设置隐藏层以及与最后一层连接的Softmax分类器，并设定损失函数和优化器，用步骤三生成的向量及其所属标签训练搭建的LSTM模型，使其输出工人行为；

步骤五、训练Yolov3网络模型

搭建Yolov3网络模型，将步骤一中的数据集以及所属标签用对其进行训练，使其识别出视频画面中的标志物；

步骤六、制作施工状态数据集

将步骤四中输出的工人行为以及步骤五中识别的标志物作为新的特征，将工人施工状态作为标签，制作数据集；

步骤七、搭建xgboost网络模型

搭建xgboost网络模型，输入步骤六中的数据集进行训练，使用训练好的xgboost网络模型对视频画面中的行为及标志物进行打分，xgboost网络模型依据得分输出工人最可能的施工状态。