[发明专利]一种基于深度强化学习的公路裂缝图像分割方法

权利要求书

1.一种基于深度强化学习的公路裂缝图像分割方法，其特征在于，包括如下步骤：

步骤1：对已标注的公路裂缝图像进行预处理，针对公路图像低对比度，复杂纹理的特点，使用ACE算法进行预处理，提高其裂缝和背景的对比度；对于预处理后的图像，计算整个数据集的均值和方差，使用均值和方差对数据集进行标准化；

步骤2：构建合适的深度学习模型对预处理后的公路裂缝图像进行训练，训练完成后使用该模型对公路裂缝图像进行前向推理，获取粗糙的裂缝分割结果；

步骤3：构建马尔可夫决策过程，即深度强化学习中所需的状态值，动作值以及奖励值；

步骤4：使用合适的深度学习网络作为深度强化学习中的值网络和目标网络；将状态值作为深度Q网络的输入，阈值动作集合A中所有阈值对应的Q值作为输出；从经验池中随机抽取部分样本，通过DoubleDQN算法的更新公式计算值网络的参数，并在适当时刻将值网络的参数更新到目标Q网络；

步骤5：在DoubleDQN的迭代过程中，经验池中不断增加智能体探索的样本数据；深度强化学习将从经验池中随机抽取部分样本，通过DoubleDQN算法的更新公式计算目标Q值：

Q_target＝R_t+1+γQ(S_t+1,argmaxQ(S_t+1,a_t+1；w)；w′) (1)

其中，S_t+1表示执行动作后的状态，R_t+1表示执行动作a的奖励，w表示估计值网络的参数，w’表示目标值网络的参数；γ表示奖励的折扣因子，t表示时刻，a_t+1表示t+1时刻的动作；

步骤6：计算深度Q网络输出的损失值；该损失根据步骤5所得的目标Q值和深度Q网络输出的Q值之间的均方误差获得；同时对深度Q网络中的权重参数使用截断正态分布随机初始化，网络最后的输出层使用Softmax；

其中，B表示一次迭代中的样本数量，i表示样本编号。

2.根据权利要求1所述的一种基于深度强化学习的公路裂缝图像分割方法，其特征在于，所构步骤3建马尔可夫决策过程，即深度强化学习中所需的状态值，动作值以及奖励值如下：

步骤3-1：设置T时刻的分割结果作为深度强化学习的状态值，而算法的初始状态是第一阶段中分割网络模型输出的图像分割结果，该状态也是DoubleDQN网络的输入；

步骤3-2：设置智能体的动作空间，该动作空间也是分割图像需要调整的阈值集合A，根据ε-greedy策略选取相应的动作：在动作集合A中选取一个整数，作为调整分割结果的基准，若选择的动作为a_i，则将分割图中像素值在[a_i-5,a_i+5]的像素置为255；

步骤3-3：设置采取动作前后IoU差值来作为深度强化学习中环境的奖励；若采取动作后分割图的IoU值比采取动作前的IoU大，则奖励设置为1；若是动作前后分割图的IoU相同，则奖励设置为0；若采取动作后分割图的IoU值比采取动作前的IoU小，则奖励设置为-1。

3.根据权利要求1所述的一种基于深度强化学习的公路裂缝图像分割方法，其特征在于，所述步骤4中的经验池是由每个时间步DoubleDQN算法的智能体与环境交互得到的样本，该样本包含4部分：t时刻的状态S_t，采取的动作a，环境反馈的奖励R，采取动作a之后转变为状态S_t+1。

4.根据权利要求1所述的一种基于深度强化学习的公路裂缝图像分割方法，其特征在于，所述使用的马尔可夫决策过程中奖励，公式为：

5.根据权利要求1所述的一种基于深度强化学习的公路裂缝图像分割方法，其特征在于，所构建的深度Q网络是一种分类网络，最后一层的神经元数量等于动作空间的大小；深度Q网络作为动作价值函数的网络模型，网络的权重参数为w，用Q(s,a；w)模拟动作值函数Q*(s,a)，其中s表示当状态，a表示当前动作，即

Q^*(s,a)＝Q(s,a；w) (4)

对于深度Q网络的训练使用Adam优化器进行梯度更新，深度Q网络训练完成后，使用分割算法的评价指标IoU和F1-score对算法的分割性能进行评估。