[发明专利]一种基于Faster R-CNN参数迁移的裂缝图像检测方法

权利要求书

1.一种基于Faster R-CNN参数迁移的裂缝图像检测方法，其特征在于，包括如下步骤：

(1)基于Faster R-CNN的多任务增强裂缝图像检测ME-Faster R-CNN；

(2)迁移学习与模型训练：首先通过已准备的裂缝图像数据集对ME-Faster R-CNN模型的结构参数进行预训练，然后使用预训练好的网络权重作为初始化权值，迁移到目标数据集上进行训练和微调，得出检测结果；

所述步骤(1)中基于Faster R-CNN的多任务增强裂缝图像检测ME-Faster R-CNN的具体步骤如下：

(1.1)特征提取：选取轻量级的ResNet-50作为卷积神经网络，通过5级ResNet-50将图片转换成特征图；

(1.2)特征融合以及候选区域生成：将所得特征图输入多任务增强RPN模型，并改善RPN模型的锚盒大小和尺寸以提高检测识别精度，最后生成候选框，即候选区域；

(1.3)检测处理：将特征图和候选区域发送到感兴趣区域ROI池，完全连接FC层和一个边界回归器，将Faster R-CNN的Softmax分类器改成SVM分类器；感兴趣区域ROI池用于将不同大小的输入转换为固定长度的输出；边界回归器用于确定候选框的位置；SVM新分类器用于确定候选框中是不是目标；

所述步骤(1.2)中特征融合以及候选区域生成的具体步骤如下：

(1.2.1)多任务增强RPN方法：在ResNet-50的基础上引入多个RPN来产生ROI，提取不同大小特征图，在ResNet-50的第三卷积层Conv3_x后加入一个RPN模块，其感受野大小为146*146，用来检测较小目标；同时在ResNet-50的第四卷积层Conv4_x后加入一个RPN模块，其感受野大小为229*229，用来检测较大目标；在ResNet-50的第五卷积层Conv5_x之后添加一个RPN模块，感受野大小为619*619；基于第三卷积层Conv3_x、第四卷积层Conv4_x、第五卷积层Conv5_x的多个RPN模块输出的信息，得到图像总体信息；

三个卷积层后RPN输出的候选区域均带有建议得分，该得分对应是目标的可能性，在对应位置选取分数最高的一个ROI区域，另外两层对应位置的ROI与所选ROI交并比若大于0.7，则认为是同一ROI，ROI-Merge Layer的输出数组中对应位置仅输出该得分最高的数组；在非极大值抑制方法之后，选择前100个值较高的ROI；

(1.2.2)改善RPN模型的锚盒大小和尺寸：新型锚盒尺度为：50×50、200×200、350×350和500×500，其中，50×50和200×200适用于小的裂缝检测，350×350和500×500适用于大的裂缝检测；这四种尺度每种尺寸按1:1，1:2，2:1的长宽比例缩放，共12种尺度作为RPN需要评估的候选框，在预测时候选框的顺序是固定的；RPN的目标就是对原图中的每个锚点对应的12个框，预测其是否是一个存在目标的框；框与真值框的IoU0.7就认为这个框是一个候选框，反之，则不是；

(1.2.3)训练方法：为了训练RPN，将一个二进制分类标签分配给每个锚点；如果一个锚盒跟所有真值框之一的IoU大于0.7，则称之为正样本；如果一个锚盒跟所有真值框的IoU小于0.3，则称之为负样本；剩下的锚盒既不是正样本也不是负样本，不用于最终的训练；将真值框与回归输出的候选框的位置作比较，用梯度下降法来训练网络；训练RPN的loss函数定义如下：

其中，一个mini-batch是由一幅图像中最终选取的所有正负样本组成的，其中正负样本的比例为1：1，i表示一个mini-batch中第i个锚点，p_i表示第i个锚点对应的锚盒是目标的概率，值在[0,1]之间；正样本的为1，负样本的为0；t_i表示候选框的位置信息，为真值框的位置信息；是分类损失函数；是回归损失函数；表示只对正样本进行回归操作，负样本的为0；分类和回归操作分别输出候选框是目标的概率p_i和候选框的位置信息t_i，这两项分别由N_cls和N_reg以及平衡权重λ归一化，N_cls为mini-batch的大小，N_reg为锚点的数量；

分类损失函数定义如下：

回归损失函数定义如下：

其中，损失函数为：

所述步骤(2)中迁移学习与模型训练的具体步骤如下：

(2.1)预训练RPN网络：用已标注的裂缝图像数据集上训练好的RPN网络进行参数初始化，然后用小样本大坝真实裂缝图像进行端对端微调；

(2.2)预训练Fast R-CNN网络：在不共享卷积层的基础之上，使用步骤(2.1)训练得到的RPN候选区域来训练一个单独检测网络，即将通过候选区域截取原图作为FastR-CNN的输入，再通过特征提取、目标分类、边框回归等一系列训练步骤得到网络参数，将其作为FastR-CNN的初始参数；

(2.3)训练RPN网络：在共享卷积层的基础之上，使用步骤(2.2)训练得到检测网络初始化RPN训练，微调RPN独有的层共三层；此时固定网络公共部分的参数，只更新RPN独有部分的参数；

(2.4)训练Fast R-CNN网络：在保持卷积层固定的情况下，用小样本大坝真实裂缝图像微调Fast R-CNN网络的全连接层，此时，RPN和Fast R-CNN两个子网络共享相同的卷积层，形成一个统一的ME-Faster R-CNN网络。