[发明专利]一种基于强化学习的无人机能耗优化方法

权利要求书

1.一种基于强化学习的无人机能耗优化方法，其特征在于，该方法包括如下步骤：

S1：构建无人机与地面传感器之间的通信系统模型；

S2：在上述系统模型基础上，计算无人机遍历单个传感器的飞行能耗；

S3：在无人机遍历单个传感器的飞行能耗基础上，计算得到无人机遍历所有传感器的整体能耗，所述能耗包括飞行能耗和通信能耗；

S4：使用基于Q-learning的无人机的路径选择算法，得到无人机最优遍历路径，从而得到无人机遍历所有传感器的最优能耗。

2.根据权利要求1所述的一种基于强化学习的无人机能耗优化方法，其特征在于，所述步骤S1具体包括：

假设地面传感器k的海拔高度为h_k，其中，k＝1，...N，N为传感器的总个数，地面传感器最大的海拔高度为h_max＝{h₁，h₂，...，h_k，...，h_N}，并且地表植被的最大高度为h_t，为了保证无人机的飞行安全和通信质量，无人机的飞行高度h_f满足如下条件：

h_f≥h_max+h_t

设定无人机在悬停时与地面传感器k进行通信，悬停时间为t_h，当无人机悬停在空中时，无人机与地面传感器k的海拔高度差H_k为：

H_k＝h_f-h_k

用s_k表示无人机和传感器k的水平距离，无人机和传感器k之间的距离表示为：

在时刻t，使用β_k(t)作为无人机和传感器k之间的信道系数，满足如下条件：

其中，代表大尺度衰落造成的路径损耗，随机复数变量用来表示小尺度衰落造成接收信号的影响，由于障碍物存在遮挡，考虑视距链路(LoS)和非视距链路(NLoS)，α_L和α_N分别为对应的路径损耗，满足如下条件：

其中，p_k，LoS和p_k，NLoS分别表示无人机和传感器k之间的视距链路(LoS)概率和非视距链路(NLoS)概率，p_k，LoS满足：

其中，b和c为比例系数，让p_k，NLoS满足如下条件：

p_k，NLoS＝1-p_k，LoS

当无人机和传感器k进行通信时，假设无人机和传感器具有相同的通信设备并且具有相同的传输功率P_t，无人机发出的干扰信号为x_s(t)，无人机和传感器k之间的传输速率采用如下公式表示：

其中，表示接收机的高斯白噪声N₀和弱干扰之和，为残余环路干扰信道，P＝E{|x_s(t)|²}，为无人机发出的干扰信号为x_s(t)的均方差，B代表带宽，t_h为无人机悬停时间。