[发明专利]一种基于深度强化学习的公路裂缝图像分割方法

说明书

本发明公开了一种基于深度强化学习的公路裂缝图像分割方法。1)对公路裂缝图像进行预处理，提高其对比度；2)使用基于深度学习的分割网络算法获取公路裂缝图像的分割结果；3)设置由分割网络输出的分割结果作为DoubleDQN算法的初始状态；设置像素值范围[100,255]作为深度强化学习中智能体的动作空间，该空间也是分割结果调整的像素值基准点；4)通过DoubleDQN算法对裂缝图像的粗分割结果不断进行迭代优化；5)在获得最佳分割结果后使用分割算法的评价指标IoU、Recall和F1分数对算法的分割性能进行评估。本发明优化了分割结果，相比单纯使用深度学习方法获得的分割结果，使用本发明方法迭代优化后裂缝分割结果更加精细，这极大地提高了公路健康状态评估的准确性。

技术领域

本发明涉及图像处理和智能算法技术领域，具体为一种基于深度强化学习的公路裂缝图像分割方法。

背景技术

公路是国家重要的基础设施之一，公路往往因为过载，老化，受热膨胀等因素，会造成公路路面出现一些裂缝，这给交通运输行业带来了很大的安全隐患。公路裂缝的分割识别存在如下挑战：

1)公路裂缝数据集较少，尤其是高质量的标注数据。

2)公路路面具有复杂的纹理，裂缝与路面背景对比度低，形成的公路裂缝形状多样，尺度大小不一，对于裂缝分割带来挑战。

传统的基于图像处理的分割方法容易受到噪声和背景的影响，基于深度学习的分割方法相较于传统方法效果更好，但是由于网络最终输出的原因导致其结果不能完全收敛到目标值，而往往需要通过阈值来调整结果。

深度强化学习是一种结合了深度学习和强化学习的算法。它通过构建一个马尔可夫决策过程，使得智能体与环境不断交互，来指导智能体在不同的状态下进行收益最大化的动作，从而得到最优决策。本发明采用深度强化学习算法，针对分割结果中对阈值的调整来迭代优化公路裂缝的分割结果。

发明内容

本发明为了克服现有技术存在的不足，提供了一种基于深度强化学习的公路裂缝图像分割方法，对公路裂缝的分割结果进行精细化处理，通过深度强化学习算法不断迭代优化结果，达到比单纯基于深度学习方法更好的分割结果。所述的深度强化学习方法为当前的分割结果构建一个马尔可夫决策过程，通过每一步迭代，利用分割结果的IoU值来引导智能体对分割结果进行优化，最终在IoU指标和F1分数上达到更好的效果。

为达到上述目的，本发明所采用的技术方案包括如下步骤：

一种基于深度强化学习的公路裂缝图像分割方法，包括如下步骤：

步骤1：对已标注的公路裂缝图像进行预处理，针对公路图像低对比度，复杂纹理的特点，使用ACE算法进行预处理，提高其裂缝和背景的对比度；对于预处理后的图像，计算整个数据集的均值和方差，使用均值和方差对数据集进行标准化；

步骤2：构建合适的深度学习模型对预处理后的公路裂缝图像进行训练，训练完成后使用该模型对公路裂缝图像进行前向推理，获取粗糙的裂缝分割结果；

步骤3：构建马尔可夫决策过程，即深度强化学习中所需的状态值，动作值以及奖励值；

步骤4：使用合适的深度学习网络作为深度强化学习中的值网络和目标网络；将状态值作为深度Q网络的输入，阈值动作集合A中所有阈值对应的Q值作为输出；从经验池中随机抽取部分样本，通过Double DQN算法的更新公式计算值网络的参数，并在适当时刻将值网络的参数更新到目标Q网络；

步骤5：在Double DQN的迭代过程中，经验池中不断增加智能体探索的样本数据；深度强化学习将从经验池中随机抽取部分样本，通过Double DQN算法的更新公式计算目标Q值：