[发明专利]基于深度强化学习的无人车充电路径规划方法

权利要求书

1.基于深度强化学习的无人充电车路径规划方法，其特征在于，包括如下步骤：

步骤(1)收集无线传感网络中的节点S＝{s₀,s₁,s₂,…,s_n}信息，包含节点的位置信息和紧急状况；

步骤(2)搭建基于深度强化学习的模型GAPN，包含点编码器、图编码器、解码器以及注意力机制模块；

步骤(3)以搜集到节点信息数据为基础，生成训练数据集和测试数据集用于训练GAPN模型；

步骤(4)设定模型训练目标为最小化节点死亡率以及最小化充电车路径成本，定义损失函数，使用强化学习actor-critic算法对GAPN进行训练，得到最终的模型；

步骤(5)将无线传感网络中的节点S＝{s₀,s₁,s₂,…,s_n}信息输入到GAPN模型中，模型返回充电车访问所有节点的方案π＝{s₀,s′₁,s′₂,…,s′_n}，其中π是对S的重新排序；

步骤(6)利用一种启发式聚类方法结合GAPN，解决多个充电车场景下的路径规划问题，即无线传感网络具有多个充电车时，调度充电车以及规划充电车路径的方案。

2.如权利要求1所述的基于深度强化学习的无人充电车路径规划方法，其特征在于：步骤(4)中使用的actor-critic算法具体为：

步骤4.1：以GAPN的网络结构为基础搭建actor网络和critic网络，θ代表actor网络参数,θ_v代表critic网络参数，两个网络的区别在于actor网络在解码过程中使用平均采样的方式，critic网络采用贪心采样的策略；

步骤4.2：一批量训练数据集合X，共有B个数据，对于每一个数据集实例x_i，应用当前actor网络进行求解最终路径成本L(π_i|x_i)，应用critic网络求解其基线期望值

步骤4.3：利用步骤4.2中得到的值进行两个网络批量策略梯度计算，actor网络策略梯度g_θ计算：critic网络策略梯度

步骤4.4：利用梯度下降法对两个网络的参数分别进行更新，更新规则分别为：θ＝θ+lr*g_θ，其中lr为学习率；

步骤4.5：重复步骤4.2至步骤4.4T次，T为训练前设定好的训练代数。

3.如权利要求1所述的基于深度强化学习的无人充电车路径规划方法，其特征在于：步骤(6)中使用的启发式聚类算法具体为：

步骤6.1：定义m个子集合R＝{S₁,S₂,…,S_m}，用于存放每个充电车将要访问的节点；定义e(S_j)为S_j中所有节点的紧急程度之和；

步骤6.2：对于输入的无线传感网络节点集合S，按照节点的初始紧急程度从大到小排序；

步骤6.3：先将节点集合S中前m个节点分别放入m个子集S₁,S₂,…,S_m中；

步骤6.4：先将集合R按照e(S_j)递增顺序排序，遍历集合S中剩下的节点，对于当前遍历到的节点s_i，如果S_j中不存在节点s_k和节点s_i的开启时间之差R_i,k大于旅行时间Γ_i,k，或者截止时间之差D_i,k小于旅行时间Γ_i,k，则将s_i放入S_j，否则就更换另一个子集，直至条件满足；

步骤6.5：得到最终m个子集合R＝{S₁,S₂,…,S_m}，用于m个充电车任务执行。