[发明专利]一种基于深度强化学习的两阶段无人机物流路径规划方法

权利要求书

1.一种基于深度强化学习的两阶段无人机物流路径规划方法，其特征在于，包括以下阶段：

预处理及模型训练阶段：对配送范围内空域进行空间格栅化，收集人工操纵无人机飞行轨迹数据构建离线训练集并结合空域特征构建无人机飞行仿真环境，结合无人机配送过程设计无人机状态空间，动作空间及回报值函数，离线及在线训练模型；

无人机物流路径规划阶段：收集配送范围内的物流配送数据，构造初始配送路径方案，结合训练后模型评估无人机飞行路径，对无人机物流路径进行优化；

无人机飞行路径规划阶段：结合无人机路径规划阶段的输出，确定无人机任务序列，基于深度强化学习输出无人机飞行路径。

2.根据权利要求1所述的基于深度强化学习的两阶段无人机物流路径规划方法，其特征在于，预处理阶段包括

配送区域内进行空间格栅化操作，构建仿真环境，为空间格栅设置进入状态；

确定深度强化学习的状态空间S及动作空间A；

根据配送任务设置深度强化学习回报值函数r；

收集人工操纵无人机飞行轨迹数据，并构建离散训练数据集。

3.根据权利要求2所述的方案，其特征在于，状态空间包含无人机所处的空间位置，载重状态，剩余续航，顾客点服务状态四类状态信息，动作空间包含{爬升，下降，前进，后退，左转，右转，保持原位置}可选动作。

4.根据权利要求2所述的方案，其特征在于，深度强化学习回报值函数由无人机距目标位置回报值r_l及无人机动作安全回报值r_s两部分组成。

5.根据权利要求1所述的基于深度强化学习的两阶段无人机物流路径规划方法，其特征在于，对于无人机物流路径规划阶段，包含以下步骤：

收集无人机物流需求数据，构建无人机物流需求数据集合；

确定无人机物流配送路径规划初始方案；

优化无人机物流配送路径规划方案，并作为无人机飞行路径规划阶段的输入。

6.根据权利要求5所述的方案，其特征在于，采用基于邻域搜索的无人机物流配送路径优化方法，特别的邻域搜索过程包括：

基于删除和插入操作的大邻域搜索过程；

基于局部邻域搜索的优化过程。

7.根据权利要求5所述的方案，其特征在于，无人机物流配送路径优化时采用权利要求2中所述的仿真环境下基于深度强化学习模型得到飞行路径费用。

8.根据权利要求1所述的基于深度强化学习的两阶段无人机物流路径规划方法，其特征在于，对于无人机飞行路径规划阶段，包含以下步骤：

构建无人机飞行路径任务集；

基于深度强化学习进行无人机飞行动作选择。