[发明专利]基于深度强化学习的无人车充电路径规划方法

说明书

本发明设计了一种利用深度强化学习模型Graph Attention based Pointer Network（GAPN）为无线传感器网络中的无人车向传感器节点进行充电的路径规划方法。流程包括如下步骤：（1）收集无线传感网络中每个节点的位置坐标信息及其电量状况（2）根据收集的数据生成与其位置信息相同分布的训练数据集和测试数据集；（3）将制作好的数据集用于GAPN模型训练；（4）将收集到的节点信息输入到完成训练的GAPN模型中，通过模型的处理，输出最终的访问节点序列。本发明基于深度强化学习和图神经网络的方法提出了一种解决无人充电车路径规划的策略，提高了无线传感网络的工作效率，延长了网络的生命周期。

技术领域

本发明属于机器学习应用领域，具体涉及模型搭建与训练，通过实际问题的解决效果来反应模型的优劣，尤其涉及基于深度强化学习的无人充电车路径规划方法。

背景技术

在大多数无线传感器网络中，每个传感器节点都是固定部署在一个位置，并且通过电池设备或者依靠环境能源，例如风能、太阳能等进行供给电量，但是这样的能源供给存在不可控性和不稳定性，无线传感网工作效率以及稳定性也受到了极大的影响，网络的生命周期也大大降低。

为了解决传统无线传感器网络的能量供给问题，利用移动设备对传感器节点进行补充电量的方案成为研究的热点。这样的充电方式实际上是基于移动性节点的思想提出的，引入移动性节点的可以提高网络的灵活性，为传感器网中的多种任务，例如传感器节点电量补充、数据收集、目标跟踪和节点定位等提供了新的思路，极大提高了传感器网络的容错率，延长了传感器网络的生命周期。为了让充电车能够合理选择需要补充能量的传感器节点，平衡节点之间的能量损耗，更加有效地执行充电任务，避免网络中出现因电量不足而出现的节点“死亡”现象，需要对充电车进行有效调度以及合理的路径规划。

路径规划问题是经典的组合优化问题之一，近些年来，研究表明深度学习和强化学习在解决组合优化问题上有独特的优势。基于深度强化学习的模型通常将问题转化到高维空间中，在高维空间中寻找并学习变量之间存在的关系，并结合图神经网络对于图结构的处理，获取到问题的最优解，这是传统运筹学方法所无法做到的。所以，如何设计神经网络的框架结构和损失函数，优化模型的训练过程，是目前深度强化学习解决组合优化问题的技术难点。

发明内容

本发明所要解决的技术问题在于，在考虑节点位置、耗电速率、充电速率以及节点电量容量等限制条件情况下，为充电车设计合理的节点充电路径规划方案，避免无线传感网络中的节点出现电量不足而导致的“死亡现象”，并且尽可能减少无人车所消耗的路径成本，从而延长无线传感网络的生命周期，提高网络可用性。

本发明的技术方案是：

基于深度强化学习的无人充电车路径规划方法，包括如下步骤：

步骤(1)收集无线传感网络中的节点S＝{s₀,s₁,s₂,…,s_n}信息，包含节点的位置信息和紧急状况；

步骤(2)搭建基于深度强化学习的模型GAPN，包含点编码器、图编码器、解码器以及注意力机制模块；

步骤(3)以搜集到节点信息数据为基础，生成训练数据集和测试数据集用于训练GAPN模型；

步骤(4)设定模型训练目标为最小化节点死亡率以及最小化充电车路径成本，定义损失函数，使用强化学习actor-critic算法对GAPN进行训练，得到最终的模型；

步骤(5)将无线传感网络中的节点S＝{s₀,s₁,s₂,…,s_n}信息输入到GAPN模型中，模型返回充电车访问所有节点的方案π＝{s₀,s′₁,s′₂,…,s′_n}，其中π是对S的重新排序；