[发明专利]一种基于深度强化学习的实时无人机路径预测方法

权利要求书

1.一种基于深度强化学习的实时无人机路径预测方法，其特征在于，包括：

步骤101、获取无人机的当前探测范围内的威胁矩阵；

步骤102、确定无人机目的地到当前探测范围内各点的距离，将这些距离作为当前距离矩阵；

步骤103、根据威胁矩阵、当前距离矩阵和已训练的A3C网络，得到无人机的当前飞行方向和飞到下一时刻的位置；

步骤104、无人机沿着当前飞行方向飞到下一时刻的位置；同时，判断下一时刻的位置是否到达目的地；

步骤105、若否，执行步骤101；

其中，得到无人机的当前飞行方向和飞到下一时刻的位置，包括：

将威胁矩阵和当前距离矩阵输入已训练的A3C网络，预测出飞机飞向各个方向的概率；

将最大概率的飞机飞向的方向作为当前飞行方向；

获取与当前距离矩阵对应的当前探测范围的位置矩阵；

根据无人机所在的位置矩阵的位置，沿当前飞行方向对应的方向跳过M个点，将第M+1个点作为下一时刻的位置点；

所述方法还包括：

通过多个场景样本对未训练的A3C网络进行训练，更新A3C网络参数；

对于一个场景样本来说，通过多个场景样本对未训练的A3C网络进行训练，包括：

将包括始发地和目的地的场景样本离散化，得到场景矩阵；

根据场景矩阵，得到场景距离矩阵和场景威胁矩阵；

场景距离矩阵是场景矩阵中各个点到目的地距离组成的矩阵；

场景威胁矩阵包括场景矩阵中各个点的威胁系数；

在场景距离矩阵中获取以始发点为中心的一个子矩阵作为距离矩阵，在场景威胁矩阵中相应的位置获取一个子矩阵作为威胁矩阵；

将两个子矩阵输入未训练的A3C网络，得到当前飞行方向、飞到下一时刻的位置、奖赏值和价值估计值，直到无人机飞到目的地或者超过预设次数还未飞到目的地为止；

根据奖赏值和价值估计值，更新A3C网络的参数。

2.根据权利要求1所述的方法，其特征在于，步骤105、若否，执行步骤101，包括：

若否，判断当前的执行次数是否大于或等于预设门限；

若是，飞机不再按照A3C网络的预测飞行，飞机返航；若否，执行步骤101。

3.根据权利要求1所述的方法，其特征在于，当前探测范围的中心点位于无人机所在位置点。

4.根据权利要求1所述的方法，其特征在于，威胁矩阵包括各个位置的威胁系数。

5.一种计算机可读的存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序包括用于执行如权利要求1-4任一项所述的方法。