[发明专利]一种实时检测施工现场图像中多类实体对象的方法及设备

权利要求书

1.一种实时检测施工现场图像中多类实体对象的方法，其特征在于，包括如下步骤：

步骤1：通过预先标记出实体对象的施工现场图像训练卷积神经网络，利用训练完成的卷积神经网络从施工现场的原始图像中提取特征图像；

步骤2：使用区域建议网络从特征图像中提取候选区域；

步骤3：将步骤2提取出的候选区域输入快速卷积神经网络进行训练，得到检测网络；在快速卷积神经网络中对候选区域的最后一个卷积层的特征图像进行池化处理，为每个候选区域生成固定长度的特征向量roi_pool5；将roi_pool5输入到快速卷积神经网络中的全连接层，以生成最终应用于多任务学习和计算多任务损失的特征，并使区域建议网络与快速卷积神经网络共享卷积层；

步骤4：利用步骤3建立的检测网络将区域建议网络初始化，然后固定区域建议网络和快速卷积神经网络共享的卷积层，先微调区域建议网络独有的层，再微调快速卷积神经网络的全连接层，得到实时卷积神经网络；

步骤5：利用步骤4得到的实时卷积神经网络，对待检测的施工现场图像进行检测，识别出其中的实体对象。

2.根据权利要求1所述的一种实时检测施工现场图像中多类实体对象的方法，其特征在于，对于卷积神经网络中的卷积层，将上一层的输出作为下一层的输入，步骤1中，提取特征图像的方法如下：

首先，向首层卷积层输入原始图像，由不同的卷积核向原始图像的x轴方向和y轴方向移动，进行卷积处理，得到初步特征图像；之后，用线性修正函数对初步特征图像进行修正，得到修正特征图像；然后，对修正特征图像进行池化操作、归一化处理，获得该卷积层的基本特征图像，作为下一卷积层的输入；对卷积神经网络中的所有卷积层重复上述过程，获取最终的特征图像。

3.根据权利要求2所述的一种实时检测施工现场图像中多类实体对象的方法，其特征在于，步骤2中使用区域建议网络从特征图像中提取候选区域的方法如下：

使用ImageNet预训练的模型将区域建议网络初始化，使用初始化后的区域建议网络在步骤1获得的特征图像上进行滑动窗口处理，每个滑动窗口被映射成d维向量，作为框分类层和框回归层的输入；当滑动窗口到达卷积特征矩阵的末尾时，框分类层输出对象/非对象的概率，框回归层则输出表示真实目标框架的变换参数，从而提取出候选区域。

4.根据权利要求3所述的一种实时检测施工现场图像中多类实体对象的方法，其特征在于，步骤2包括如下子步骤：

2.1使用ImageNet预训练的模型对区域建议网络进行初始化，并对初始化后的区域建议网络进行端到端微调；利用调整后的区域建议网络在步骤1获得的特征图像上进行滑动窗口处理，每个滑动窗口映射为一个d维特征向量；在区域建议网络中，原始图像的候选区域被称为锚框，滑动窗口在特征图象上滑动的每个位置都在原始图像上对应k个不同的锚框，k个锚框对应p种不同尺度以及q种不同长宽比，k＝p*q；

2.2将d维特征向量输入框分类层和框回归层；框分类层输出2k维向量，表示锚框属于前景和背景的概率，框回归层输出4k维向量，表示真实目标框的变换参数，从而完成候选区域的提取。

5.根据权利要求3或4所述的一种实时检测施工现场图像中多类实体对象的方法，其特征在于，步骤3包括如下子步骤：

3.1得到区域建议网络提取的候选区域后，将候选区域输入快速卷积神经网络进行训练，得到检测网络；利用ImageNet预训练的模型将检测网络初始化；使用ROI池化层对候选区域在快速卷积神经网络的最后一层卷积层的特征图像进行处理获得结果特征图，进而为每个候选区域生成固定长度的特征向量roi_pool5；

3.2将roi_pool5输入到快速卷积神经网络中的全连接层，以生成最终应用于多任务学习和计算多任务损失的特征，使区域建议网络与快速卷积神经网络共享卷积层；全连接层的输出包括SoftMax损失和回归损失；

SoftMax损失是用于计算i+1个类的分类函数，其中，i表示目标类别数量；

回归损失是与i+1分类结果相对应的候选区域的边界框的四角坐标。