[发明专利]一种基于深度强化学习的两阶段无人机物流路径规划方法

说明书

本发明公布了一种基于深度强化学习的两阶段无人机物流路径规划方法，首先通过对物流配送区域和相关数据的预处理，构建深度强化学习模型，建立相应的无人机飞行状态空间，动作空间和回报值函数，并结合离线学习和在线学习方式对深度强化学习模型进行训练；其次采用两阶段优化方法对无人机物流过程中物流配送路径和飞行路径进行规划。对于无人机飞行路径规划阶段主要基于深度强化学习的实时动作选择完成。本发明在物流路径规划阶段通过深度强化学习估计无人机配送成本，使得物流路径的优化更贴合实际无人机飞行过程，并基于深度强化学习实现了无人机实时飞行路径的规划，具有较快的计算速度和较高的鲁棒性能。

技术领域

本发明属于智能物流领域，尤其涉及基于深度强化学习的无人机物流路径规划方法。

背景技术

随着近年来无人机技术的蓬勃发展，越来越多的物流企业开始尝试使用无人机作为城市主体物流的补充。相较于传统的地面物流配送方式，使用无人机进行物流配送更加灵活，减少人工劳力，提高配送覆盖范围等优势，因此无人机物流被认为是解决物流的最后一公里的合理途径。但是使用无人机进行物流运输不仅需要规划合理的配送路径，还需要考虑在配送过程中的无人机飞行的安全轨迹，因此在设计相应的无人机物流路径规划方法的时候需要同时兼顾物流配送过程的路径优化和无人机飞行过程中的空域管理两个，在无人机安全运行的情况下最大限度的减少配送成本将是无人机物流路径规划的一项重要目标。

无人机物流的路径规划过程相较于传统的车辆路径问题还包含了对无人机起落位置的规划，以及对无人机飞行过程中的实时路径规划。而国内外现有的物流路径规划的方法中，主要是基于启发式算法或者精确算法对车辆路径问题进行研究，未涉及路径问题和无人机飞行控制过程。因此，目前亟需一种可以同时考虑在使用无人机进行物流配送时同时考虑物流和飞行两方面路径规划的方法。

发明内容

本发明提供一种基于深度强化学习的两阶段无人机物流路径规划方法。该方法将基于无人机的物流路径规划问题划分为两个过程：预处理及模型训练；两阶段无人机路径规划，具体的，两阶段无人机路径规划包括：无人机物流路径规划阶段以及无人机飞行路径规划阶段。

预处理及模型训练过程收集训练深度强化学习模型的数据，并结合离线数据对模型进行训练，其特征在于，包含以下步骤：

1)首先将物流服务区域内空域进行空间格栅化操作，结合空域内障碍物分布设置初始化格栅状态，标记禁止进入的格栅，并基于实际空域构建仿真环境。结合空间格栅划分结果对现有无人机人工操纵轨迹数据，构建离线训练数据集；

2)确定深度强化学习的状态空间S及动作空间A，并根据配送任务设置深度强化学习回报值r，回报值r由两部分组成，具体的r＝r_l+r_s，其中r_l表示无人机当前位置与目标位置的距离回报，r_s表示无人机动作安全回报值，

3)在训练过程中构建训练经验池存储经验数据(s,a,r,s′)，从经验池中按批训练方式分批次进行数据采样，结合梯度下降算法训练提供Q值的神经网络参数。

4)在仿真环境下，随机生成物流路径，基于训练后的深度强化学习模型模拟无人机飞行路径规划阶段，对模型进行在线训练。同时，将仿真模拟作为基于深度强化学习的两阶段无人机物流路径规划方法第一阶段的估计无人机飞行费用的方式。

无人机物流路径规划阶段确定物流配送过程中待顾客的访问顺序及无人机启停位置，结合无人机飞行路径确定在保证配送安全情况下的最优配送策略，其特征在于：包含以下步骤，

1)收集服务区域内部的待服务顾客点i的位置l_i，配送需求q_i，服务时间s_i和可以对其进行服务的时间窗[a_i,b_i]，构造顾客数据集；