[发明专利]改进PoolNet网络结构的混凝土路面裂缝检测方法

权利要求书

1.一种改进PoolNet网络结构的混凝土路面裂缝检测方法，其特征在于，包括以下步骤：

获取路面图像集，并从所述路面图像集中筛选出具有裂缝的路面图像，同时划分为训练集和测试集；

基于仿射变换和非刚体变换，对所述路面图像以及对应的标注进行数据增强处理；

将数据增强后的所述训练集输入改进PoolNet网络结构进行训练，直至迭代次数达到指定阈值或者性能指标满足应用要求，完成训练；

基于所述测试集判断所述改进PoolNet网络结构是否满足应用要求，若满足，则保存所述改进PoolNet网络结构，若不满足，则修改数据增强和训练环境的超参数重新进行训练；

使用训练好的模型进行路面裂缝检测，并对提取得到的路面裂缝使用基于连通域标记分类算法，对裂缝进行分类和严重程度的评估；

将数据增强后的所述训练集输入改进PoolNet网络结构进行训练，直至迭代次数达到指定阈值或者性能指标满足应用要求，完成训练，包括：

将数据增强后的所述训练集输入改进PoolNet网络结构，正向推理得到预测结果；

使用改进加权交叉熵损失函数计算所述预测结果与标记之间的损失值；

使用随机梯度下降算法以当前所述损失值对所述改进PoolNet网络结构权重求导，反向传播梯度，更新所述改进PoolNet网络结构权重；

直到迭代次数达到指定阈值或者性能指标满足应用要求，完成训练；

将数据增强后的所述训练集输入改进PoolNet网络结构，正向推理得到预测结果，包括：

使用基于VGG-FPN作为骨干网络，提取分别缩小2倍、4倍、8倍的多尺度卷积特征图；

使用改进的金字塔池化模块提取所述训练集中的所述路面图像的底层卷积特征，再分别2倍、4倍、8倍上采样后与相同尺度的浅层特征融合；

每次多尺度特征融合过程中，使用结合注意力机制的特征整合模块来平滑不同尺度特征的差距，整合不同尺度的特征融合；

使用整合后精炼卷积特征来预测路面裂缝；

其中，改进的金字塔池化模块在金字塔池化模块的基础上添加了全局上下文模块，金字塔池化模块有三个并行池化分支，将输入特征分别降采样至分辨率为1×1、3×3和5×5的特征，再分别上采样恢复至输入特征图的分辨率，最后使用一个1×1卷积将特征图通道压缩到输入通道数；

全局上下文模块有构建全局上下文信息和非线性变换两个阶段，首先，输入特征被分成两个分支，一条分支使用1×1卷积将输入特征调整为HW×1×1，并使用Softmax函数将其数值规范至0-1之间的小数，得到注意力热力图，再与另一条恒等映射分支相点乘，得到C×1×1通道注意力向量；然后，注意力向量依次通过1×1卷积层、归一化层、Relu激活函数、1×1卷积层增加该变换的非线性；

在改进的金字塔池化模块中具有最小尺度的深层特征被分别引入浅层特征，在每个特征融合后接上一个结合全局上下文的特征整合模块；

结合注意力机制的特征整合模块包括：

原始的特征整合模块有三个不同下采样倍率的并行分支，每个分支是一个平均池化、3×3卷积层和双线性插值上采样操作序列，再将三个并行分支特征以求和方式进行整合，采用全局上下文模块提取特征的全局信息，再与特征整合模块的结果求和，并使用3×3卷积获得最后整合特征图；

改进加权交叉熵损失函数包括：

其中，y分别表示预测概率图和Ground True；y⁽ⁱ⁾分别表示像素位置预测概率值和对应像素位置Ground True；|Y⁺|,|Y^-|,N分别表示裂缝样本的数目，非裂缝样本的数目和概率图中样本总数。

2.如权利要求1所述的改进PoolNet网络结构的混凝土路面裂缝检测方法，其特征在于，基于仿射变换和非刚体变换，对所述路面图像以及对应的标注进行数据增强处理，包括：

获取随机生成的一个随机数，并判断所述随机数是否大于执行数据增强的阈值；

若大于执行数据增强的阈值，则以反射方式取所述路面图像较长边填充图像，并以多种设定的概率值进行数据增强处理。

3.如权利要求2所述的改进PoolNet网络结构的混凝土路面裂缝检测方法，其特征在于，若大于执行数据增强的阈值，则以反射方式取所述路面图像较长边填充图像，并以多种设定的概率值进行数据增强处理，包括：

大于执行数据增强的阈值，则以反射方式取所述路面图像较长边填充图像，得到一个正方形图像；

以0.2的概率添加高斯噪声；

以0.5的概率进行水平翻转；

以0.5的概率随机仿射变换，包括以32个像素内随机平移，在放缩倍数区间[-0.1,0.1]内随机放缩以及旋转角区间[-30°,30°]内随机旋转；

以0.5的概率从三种非刚体变换中随机选择执行，三种非刚体变换包括弹性变换、随机调整亮度和对比度、打乱通道。