[发明专利]一种基于深度强化学习的移动机器人路径规划方法

权利要求书

1.一种基于深度强化学习的移动机器人路径规划方法，其特征在于，包括以下步骤：

步骤S1、根据移动机器人的运动场景，确定状态信息；

步骤S2、初始化深度强化学习基本参数，通过模仿学习预训练状态值网络权重，并依据状态值网络权重初始化目标值网络权重；

步骤S3、将状态信息通过状态值网络进行前向传递，并使用ε-贪婪策略指导机器人动作；

步骤S4、通过综合奖励函数获取奖励；

步骤S5、不断通过目标值网络更新权重，以获取最佳的期望奖励，并更新相关参数，实现状态值网络的训练；

步骤S6、记录训练过程中，相关数据和最后训练完成的模型，得到机器人最优路径规划策略；

所述步骤S6中，最优路径规划策略π^*为：

其中，Δt为相邻两个动作决策之间的时间间隔，V^*(s_t)为最佳状态值函数，K为从初始状态到最终状态决策总步数；由于相邻两个动作决策之间的时间间隔Δt较小，因此，Δt时间内使用等速模型近似，则π^*简化为：

步骤S2.2中，状态值网络的结构主要依靠人工势场法和注意力机制构建，主要状态值网络的结构包括以下步骤：

步骤S2.2.1、将行人和机器人的状态信息d_g和d_m用人工势场法抽象，得到机器人的势能因素U和行人的势能因素U_i：

其中，ξ₁为引力势能因子，η₁为斥力势能因子；

步骤S2.2.2、将势能因素合并到原有状态中，得到扩充后的机器人状态信息Rob^p和扩充后的行人的状态信息

Rob^p＝[p,v,r,v_pre,U(d_g)]

步骤S2.2.3、综合扩充后的机器人和行人的状态信息，得到扩充后的状态信息s^p为：

步骤S2.2.4、再使用多层感知器φ_e将状态s^p编码到固定长度的向量e_i中：

e_i＝φ_e(s^p；W_e)

其中，W_e为φ_e的权重，φ_e使用ReLU激活；

步骤S2.2.5、然后将e_i输入到后续的全连接层ρ_f中，获得机器人与行人的交互特征f_i：

f_i＝ρ_f(e_i；W_f)

其中，ρ_f表示全连接层，使用ReLU激活，W_f为f_i的权重；

步骤S2.2.6、再使用多层感知器获取行人注意力分数ψ_i，用于表示行人对机器人的影响力，表示为：

其中，使用ReLU激活，W_ψ为的权重；

步骤S2.2.7、再将交互特征f_i和行人注意力分数ψ_i加权线性组合，得人群特征N：

步骤S2.2.8、最后将Rob^p和人群特征N输入到多层感知器z_v中，得到状态值函数的输出结果V(s)，表示为：

V(s)＝z_v(Rob^p,N；W_v)

其中，z_v使用ReLU激活，W_v为z_v的权重。