[发明专利]基于人工势场与强化学习的机器人路径规划方法

权利要求书

1.基于人工势场与强化学习的机器人路径规划方法，其特征在于，包括以下步骤：

步骤一：构建人工势场，势场由引力势场和斥力势场叠加而成；目标点对智能体提供引力，形成引力势场；障碍物对智能体提供斥力，形成斥力势场；

所述步骤一中势场的构建过程为：

1)根据障碍物与目标点的位置，分别构建障碍物和目标点的引力场，其中引力场如下：

其中U_att(q)为目标点在位置q产生的引力场，k_att为目标点的引力系数，引力系数越大说明目标点具有更强的吸引力，q为位置坐标，目标点所在坐标为q_g，所以q_g处势场为0；

2)构建障碍物的斥力场

其中U_rep(q)为障碍物在位置q产生的斥力场，k_rep为障碍物的斥力系数，斥力系数越大说明障碍物周围具有更强的排斥力，q-q₀为当前位置坐标与障碍物距离,障碍物的斥力场范围大小为p₀，超过该范围则机器人感受不到该障碍物的排斥力；

还包括：

针对局部稳定点情况，构建域势场

其中U_str(q)为域势场，k_str为强吸引力指数，该指数大于k_att，q-q_g为当前位置坐标与目标点距离，同时具有一个范围场p_s，在该范围内能感受到该目标点的强吸引力；

步骤二：强化学习在域-人工势场的预训练，得到用于强化学习的策略，智能体根据策略躲避障碍物，寻找目标点。

2.根据权利要求1所述的基于人工势场与强化学习的机器人路径规划方法，其特征在于，所述的人工势场路径规划的方法针对非凸障碍物的智能体算法优化方法为：将所述步骤二中学习到初步策略的智能体针对特定的局部稳定点情况进一步学习，学习处理复杂情况的环境。

3.根据权利要求1所述的基于人工势场与强化学习的机器人路径规划方法，其特征在于，所述步骤二中强化学习在域-人工势场的预训练，得到用于强化学习的策略，步骤如下：

1)建立Q函数来计算奖励值，当智能体躲避障碍物，抵达目标点都可以获得奖励，Q函数预计当前行动和状态下，根据当前策略一直到迭代结束所获得的总奖励值，这过程智能体获得奖励值为：

Q^π(s,a)＝E[r|s_t＝s,a_t＝a,π]

其中Q^π为策略π的Q函数，s为智能体当前状态即当前势场，a为智能体采取的行动，E为数学期望，r为获得的奖励值，s_t为智能体在t时刻的状态，a_t智能体在t时刻采取的行动，π为当前智能体采用的策略；

2)使用深度神经网络来逼近Q函数，使用深度Q学习方法，使用神经网络表达目标产生的Q函数的值，结合时序差分方法学习值函数，包括以下步骤：

其中Y_i为时序值函数，γ为衰减率，为取Q最大值的a′，s′为智能体下一时刻的状态，a′为智能体下一时刻采取的行动，θ_i为第i次迭代智能体所采用的策略系数；

使用如下损失函数进行训练：

L(θ_i)＝E_s,a,r,s′[(Y_i-Q(s,a|θ_i))²]

其中L(θ_i)为损失函数，E_s,a,r,s′为当前状态为s行为采用a当前奖励为r下一状态为s′的期望；

通过对损失函数梯度下降更新作为深度神经网络参数的θ_i，完成预训练；

3)根据智能体实时的行动和状态得到奖励值，当奖励值最大时所对应的行动即为用于强化学习的策略。

4.根据权利要求3所述的基于人工势场与强化学习的机器人路径规划方法，其特征在于，所述深度神经网络的输入为a、s，输出为奖励值。