[发明专利]一种基于强化学习的无人机能耗优化方法

说明书

本发明公开了一种基于强化学习的无人机能耗优化方法，方法应用在无人机网络中，方法步骤如下：首先构建无人机与地面传感器之间的通信系统模型；然后在上述系统模型基础上，计算无人机遍历单个传感器的飞行能耗；接着在无人机遍历单个传感器的飞行能耗基础上，计算得到无人机遍历所有传感器的整体能耗(飞行能耗+通信能耗)；最后使用基于Q‑learning的无人机的路径选择算法，得到无人机最优遍历路径，求解无人机遍历所有传感器的最优能耗。本发明相对于已知的其他算法，在能耗表现上得到了提升。

技术领域

本发明涉及一种基于强化学习的无人机能耗优化方法，属于深度学习及通信技术领域。

背景技术

近年来，随着5G不断发展，现在的通信系统不再满足于普通的地面通信。地空通信成为通信网络中重点发展的一部分。无人机因其高机动性非常适合大范围的通信，同时在高空中与地面通信可以降低很多干扰已成为地空通信网络的重要组成部分。但是，无人机在野外空旷地区与大量传感器进行通信也存在一些问题。无人机的能量有限，如何合理的设计飞行路线，降低飞行能耗成为关键。

因此，本发明主要考虑无人机在缺乏基础设施的野外空旷地带上与地面上大量分布的传感器进行通信。无人机接受传感器采集到的数据同时也向传感器发送一些模型参数信息。如何在完成通信任务的基础上，优化无人机的飞行路线和数据传输策略，最小化无人机的能耗消耗是问题的核心。本发明依此展开，主要研究整个无人机和传感器通信系统的模型，推导无人机的通信和飞行能耗模型，并研究相关的路径选择方法，考虑了无人机的飞行速度、地理信息、传输速率等因素，分析了无人机的动作空间和状态空间。提出了一种基于强化学习的无人机能耗优化方法。

发明内容

本发明提出一种基于强化学习的无人机能耗优化方法，通过制定无人机的飞行策略和优化内容。然后从强化学习算法出发，提出了一种基于Q-learning的无人机的路径选择算法，有效降低了无人机飞行及通信能耗。

为实现上述目的，本发明采用的技术方案如下：本发明提出的一种基于强化学习的无人机能耗优化方法，该方法包括如下步骤：

S1：构建无人机与地面传感器之间的通信系统模型；

S2：在上述系统模型基础上，计算无人机遍历单个传感器的飞行能耗；

S3：在无人机遍历单个传感器的飞行能耗基础上，计算得到无人机遍历所有传感器的整体能耗，所述能耗包括飞行能耗和通信能耗；

S4：使用基于Q-learning的无人机的路径选择算法，得到无人机最优遍历路径，从而得到无人机遍历所有传感器的最优能耗。

进一步的，所述步骤S1具体包括：

假设地面传感器k的海拔高度为h_k，其中，k＝1，...N，N为传感器的总个数，地面传感器最大的海拔高度为h_max＝{h₁，h₂，...，h_k，...，h_N}，并且地表植被的最大高度为h_t，为了保证无人机的飞行安全和通信质量，无人机的飞行高度h_f满足如下条件：

h_f≥h_max+h_t

设定无人机在悬停时与地面传感器k进行通信，悬停时间为t_h，当无人机悬停在空中时，无人机与地面传感器k的海拔高度差H_k为：

H_k＝h_f-h_k

用s_k表示无人机和传感器k的水平距离，无人机和传感器k之间的距离表示为：