[发明专利]一种实时检测施工现场图像中多类实体对象的方法及设备

说明书

本发明公开了一种基于机器视觉的实时检测施工现场多类实体对象的方法及设备，该方法包括：步骤1，利用训练过的卷积神经网络从施工现场的原始图像中提取特征图像；步骤2，使用区域建议网络从特征图像中提取候选区域；步骤3，在快速卷积神经网络中使用候选区域；步骤4，使区域建议网络和快速卷积神经网络共享卷积层，得到实时卷积神经网络；步骤5，利用实时卷积神经网络识别待检测的施工现场图像中的实体对象。本发明的设备包括用于执行上述方法的计算机程序。本发明能够实时识别施工现场的多类实体对象，为复杂环境下建筑工程施工全过程进度、安全管理提供重要基础。

技术领域

本发明属于建筑工程信息化领域，更具体地，涉及一种实时检测施工现场图像中多类实体对象的方法及设备。

背景技术

施工环境的动态性和复杂性致使工程建设期间的事故数和死亡人数始终居高不下，而不安全行为和不安全状态是造成事故发生的两个直接原因。如果施工中的不安全行为和状态可以被实时地监控和了解，无疑将提高安全绩效。实时识别工地视频监控中施工作业涉及的人、机械和材料等施工对象，对于充分了解复杂建筑工地的不安全行为至关重要。同时，图像/视频中的目标检测也是生产率测量和进度监测的基础。尽管如此，研究学者对施工环境中的目标检测关注度不够，相关研究较少。

最初的研究关注于一类或两类施工对象的检测，存在明显缺陷：

(1)对于涉及众多种类的机械、材料等施工对象的复杂工地显然是不够的；

(2)由于对整个图像区域缺乏综合检测，特定应用将受到很大限制。

由于目前识别两类以上施工对象的研究仍然很少，而且在应用于设备和工人的检测时，局限于机器视觉的传统范式，有效性、综合性地提取特征受很大的限制，模型泛化能力差，此外，由于现有方法依赖于手动的特征提取，且无法进行计算量大的处理，不能做到实时识别。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种实时检测施工现场图像中实体对象的方法，通过将快速卷积神经网络与区域建议网络有机融合，建立实时卷积神经网络，从而得到用于多类施工现场对象检测的深度学习模型，达到从施工现场图像中实时检测多个实体的目的。

为了实现上述目的，本发明提供了一种实时检测施工现场图像中多类实体对象的方法，包括如下步骤：

步骤1：通过预先标记出实体对象的施工现场图像训练卷积神经网络，利用训练完成的卷积神经网络从施工现场的原始图像中提取特征图像；

步骤2：使用区域建议网络从特征图像中提取候选区域；

步骤3：将步骤2提取出的候选区域输入快速卷积神经网络进行训练，得到检测网络；在快速卷积神经网络中对候选区域的最后一个卷积层的特征图像进行池化处理，为每个候选区域生成固定长度的特征向量roi_pool5；将roi_pool5输入到快速卷积神经网络中的全连接层，以生成最终应用于多任务学习和计算多任务损失的特征，并使区域建议网络与快速卷积神经网络共享卷积层；

步骤4：利用步骤3建立的检测网络将区域建议网络初始化，然后固定区域建议网络和快速卷积神经网络共享的卷积层，先微调区域建议网络独有的层，再微调快速卷积神经网络的全连接层，得到实时卷积神经网络；

步骤5：利用步骤4得到的实时卷积神经网络，对待检测的施工现场图像进行检测，识别出其中的实体对象。

进一步地，对于卷积神经网络中的卷积层，将上一层的输出作为下一层的输入，步骤1中，提取特征图像的方法如下：