[发明专利]基于势场的强化学习路径规划算法

权利要求书

1.一种基于势场的强化学习路径规划方法，其特征在于：确定系数的强化学习势场环境建模方法：设置正比例斥力增益系数β＝10，正比例引力增益系数α＝0.3，根据环境中的障碍物个数n、位置及运动速度v₁，v₂，...，v_n，，当前时刻下，机器人移动方向为τ，动态障碍物i当前移动方向ρ_i，在障碍物附近定义确定系数的斥力场模型表达式列在段落结尾；定义目标点位置势场环境中的引力场模型U_a(P)＝0.5αd(P，P_G)；

2.基于势场的马尔科夫决策模型建立方法，其特征在于：关于时刻t，定义机器人在势场环境中观测到的状态函数，为全观测状态定义机器人的动作为A_t＝[|f_x1|，|f_x2|，|f_y1|，|f_y2|]^T，定义过程中的奖励值r_t(S_t，A_t)＝R_a+R_re，其中R_a＝d²(P，P_G)，

3.建立基于势场的强化学习算法的神经网络，其特征在于：建立DDPG强化学习算法中两个Actor网络和两个Critic网络，皆为三层的感知机神经网络，参数为θ^μ和θ^Q的深度神经网络表示确定性策略a＝π(S|θ^μ)和动作值函数Q(s，a|θ^Q)，输入的状态维度为8，前两层均有64个神经元，激活函数采用leaky relu函数，输出的动作维度为4；目标函数定义为其中γ为折扣系数。

4.构建势场强化学习算法的优化策略，其特征在于：根据势场作为状态输入，确定性策略a＝π(s|θ^μ)，得到偏导模型，在段落结尾第一个表达式，通过梯度上升的方向更新策略网络参数；更新Critic网络，结合梯度模型，在段落结尾第二个表达式，更新公式为TargetQ＝r+γQ′(s′，π(s′|θμ′)|θ^Q′)；神经网络优化器采用Adam优化器，优化器的参数gamma为0.95，学习率lr为0.01，batch size为512，多回合迭代以训练网络，最终实现复杂动态环境的机器人路径规划；