[发明专利]无人机通信网络移动控制方法、装置、设备及存储介质

权利要求书

1.一种无人机通信网络移动控制方法，其特征在于，包括：

确定当前时刻的观察信息；所述观察信息包括下述信息中的一种或多种：各无人机的能量开销信息、基于所述无人机提供的无人机网络中各用户的覆盖指示信息或所述无人机网络的覆盖公平信息；

根据所述观察信息，采用深度确定性策略梯度DDPG模型，确定所述观察信息对应的控制信息；所述DDPG模型为采用DDPG算法带入样本信息生成的模型，所述样本信息指示样本观察信息与样本控制信息的映射关系；

根据所述控制信息控制所述无人机移动；

所述DDPG模型的回报函数包括如下参数中的一个或多个：

当前时刻用户总的服务质量QoS需求参数、当前时刻无人机网络的覆盖公平参数、前一时刻至当前时刻各无人机的能量开销参数；

所述回报函数满足如下公式(1)：

其中，r_t表示在时刻t所述DDPG模型的回报函数，A表示所述用户总的服务质量QoS需求，f_t表示在时刻t所述无人机网络的覆盖公平指数，表示所述前一时刻t-1至当前时刻t总的无人机的能量开销。

2.根据权利要求1所述的方法，其特征在于，所述用户总的服务质量QoS需求A具体表示为：其中，

表示在时刻t集合U_k中的用户是否被覆盖，表示集合U_k中用户的服务质量QoS需求门限，e_t-1,j(m_t-1,j)表示前一时刻t-1至当前时刻t无人机j的能量开销；

更进一步的，t表示某一个时刻，t＝1,2,…,T，即把总的时间划分为T个时间步长，每个时间步长的开始为一个时刻，j表示某一架无人机，J表示一个集合，代表无人机全集，满足j∈J，所述集合U_k表示所述无人机网络中用户全集的第k个子集，k＝1,...,K，且所述集合U_k中的所有用户的服务质量QoS需求相同，进一步的，所述用户全集包括所述无人机网络的全部用户，且所述用户全集包括K个子集，且所述子集间的服务质量QoS需求不同。

3.根据权利要求2所述的方法，其特征在于，所述集合U_k中用户的服务质量QoS需求满足如下公式(2)：

其中，表示在时刻t第j架无人机给所述集合U_k中的用户i_k提供的服务质量QoS，M₁表示一个比最大的稍大的常数，表示所述集合U_k中用户的服务质量QoS需求门限，表示在时刻t集合U_k中的用户是否被覆盖。

4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：当提供所述网络的所有无人机中存在目标空域边界或之外的无人机时，更新所述回报函数；

和/或，

当所述无人机网络中两架无人机之间无法通信时，更新所述回报函数；

其中，更新后的所述回报函数确定的回报值小于更新前的所述回报函数确定的回报值；

当存在目标空域边界或之外的无人机时，更新所述回报函数，包括：

当存在目标空域边界或之外的无人机时，采用如下公式(3)更新所述回报函数；

其中，α＝1/(12500|J|)与β＝3/|J|-9/(25|J|)是两个调整回报函数的系数，|J|表示所述网络的无人机的架数，而且，

进一步的，x_t,j表示在时刻t第j架无人机的经度，y_t,j表示在时刻t第j架无人机的纬度，h_t,j表示在时刻t第j架无人机的高度，x_l表示x_t,j的最小值，x_u表示x_t,j的最大值，y_l表示所述y_t,j的最小值，y_u表示所述y_t,j的最大值，h_l表示所述h_t,j的最小值，h_u表示所述h_t,j的最大值，υ₁表示一个常数。