[发明专利]太阳能无人机自主寻优航迹规划的强化学习方法

说明书

一种太阳能飞机自主寻优航迹规划强化学习方法，其特征在于包括：对环境进行感知构建网格化、离散化环境信息；利用DQN进行自主路径规划。本发明所采用的DQN算法是以节点为概率的算法，因此需要将环境信息进行网格化、离散化处理以便将环境信息输入算法。根据本发明的方法提升了针对环境感知的精确性，相对于传统算法考虑了能量获取与能量消耗，提升了路径规划结果的性能，实现从相同起点到相同终点过程中节约能量即消耗能量更少，获取能量更多，从而实现了太阳能无人机更长的飞行航时。

技术领域

本发明涉及一种太阳能飞机自主寻优航迹规划的强化学习方法。

背景技术

低空长航时小型化的太阳能飞行器，由于自身结构复杂性低、体积小、发射(起飞)方式简单的特点，更适合搜索和营救、侦查和测绘等任务。然而上述任务都需要建立在细致的任务路径上执行，为保证任务完成的效率和质量，需要对飞行器的路径进行规划，经过优化算法并分析各方面因素对目标函数取值的影响，从而获取路径规划的最优结果。太阳能无人机也面临着许多严峻的挑战，例如结构轻量化设计引起的对环境条件的敏感性，飞行速度低，对太阳辐照度的严重依赖等，其中太阳辐照度对太阳能电池板的效率有非常大的影响，直接影响着太阳能无人机的工作状态。

基于上述因素，要使太阳能无人机实现长期良好状态的运行，需要在气象环境下进行对环境的感知，并根据感知信息进行自主路径规划的强化学习，对于太阳能无人机的长航时飞行提供技术支撑的。

发明内容

根据本发明的一个方面，提供了一种太阳能飞机自主寻优航迹规划强化学习方法，其特征在于包括：

A)对环境进行感知构建网格化、离散化环境信息，该系统模型包括：

本文所使用的DQN算法是以节点为概率的算法，因此需要将环境信息进行网格化、离散化处理以便将环境信息输入算法。

对短波辐射进行获得和处理，已得到基础辐射值；

对雷达云图进行获得和离散化，以得到节点所在位置短波辐射遮蔽情况；

设置起点和终点，并根据启发式距离原理对结点进行赋值，以得到每个节点的启发式距离集合D；

根据基础辐射值，离散雷达图和启发式距离综合飞行器的太阳能电池板发电功率和巡航飞行的参数设置每个节点的奖励函数值集合R；

B)利用DQN进行自主路径规划。

本文采用的自主路径规划方法是基于强化学习发展而来。作为机器学习的三大类别之一，强化学习与监督学习和无监督学习不同，并不是一种基于分类的学习方法，而是一种基于与环境互动中获得学习经验的方法。其学习过程中，通过对环境产生行为来得到反馈，并用反馈来评价行为，建立环境与行为之间映射，通过这种映射强化这种环境下的行为，因此更适合于具有复杂情况下的路径规划。

根据本发明的一个方面，提供了一种太阳能无人机自主寻优航迹规划的强化学习方法，其特征在于包括：

A)在无人机环境感知操作开始后，先进行环境感知处理，从而生成一个有起点和终点的节点图，该节点图中的每个节点都有自己的奖励值，

B)建立深度强化学习神经网络，

C)建立有固定份数容量大小的记忆库并初始化，

D)将节点图输入路径探索模块并开始进行路径探索，在路径探索的过程中将路径探索的内容按照(s,a,r,s_)的格式一份一份地存入记忆库，其中：s为当前节点n状态，a为节点移动动作，r为采取移动动作a到达下一节点的奖励值，s_为采取移动动作a后的到达下一节点的状态s_，

E)在路径探索模块的操作在进行了一定次数的探索后结束，把探索的内容存入记忆库，