[发明专利]一种平流层飞艇水平轨迹智能控制方法

说明书

本发明公开了一种平流层飞艇水平轨迹智能控制方法，针对平流层飞艇在风场环境中的水平轨迹控制问题，建立飞艇的观测模型和马尔可夫决策过程模型；考虑飞艇这一特征对象，限定动作空间中的元素区间，基于已知的风场模型，以每一刻风向来流相对于飞艇的夹角概率作为动作选择依据，对飞艇的动作输入和状态输出进行神经网络学习；根据学习的结果，进入Q‑learning过程，依据动作最优策略，得到控制律，对飞艇的执行机构进行控制，实现对期望水平运动的跟踪，有效解决动力学模型参数不确定、环境风场干扰等因素对平流层飞艇水平运动控制产生的不利影响。

技术领域

本发明涉及平流层飞艇风场中水平轨迹智能控制方法，特别涉及一种基于Q-learning算法和CMAC神经网络学习的风场中平流层飞艇水平轨迹控制方法。

背景技术

临近空间介于常规航空器最高飞行高度和航天器最低轨道高度之间，是跨接航空与航天的新兴战略空间。各国通过发展临近空间飞行器这一途径，充分利用其潜在价值，平流层飞艇、高空气球、太阳能无人机等均为目前的研究热点。平流层飞艇是一种典型的低速临近空间飞行器、是一种能够长期驻留在平流层区域，实现对地球表面高分辨率观测、战区侦查、通信中继、环境检测、科学探测、提供地面精确信息的战略无人飞行器。相较于卫星，平流层飞艇具有更高的时空分辨率，相较于飞机，平流层飞艇可借助临近空间环境实现区域驻留，具有长航时、低能耗、高经济效益比等特点。基于风场环境下的飞艇轨迹控制是实现飞艇长航时驻留的关键要素，但在控制问题中面临着飞艇运动欠驱动、大惯量、长时延、风场中的飞艇动力学模型复杂、参数不确定、非线性特征明显等诸多难题。

现今研究成果中，大部分控制策略是建立在不考虑风场作用的动力学模型基础上，但是，从现实中的控制效果上可知，忽略风场影响下的控制模型无法精确完成控制系统发出的控制指令，难以满足预期的控制需求，因此，必须建立有风场干扰的动力学模型。部分学者对考虑风场后的非线性模型进行小扰动线性化，并提出基于模型预测、滑模控制以及反步法等多种控制策略，虽然在仿真阶段于一定程度上改善了控制精度，但模型构建过程复杂，在实际中对控制器参数的动态调参较为困难，仿真结果未得到证实。随着人工智能的兴起，深度学习、增强学习被广泛的应用到各个领域内，在已有的应用对象水下航行器拥有着良好的运动跟踪控制效果。此外，目前将增强学习算法和神经网络学习应用在平流层飞艇水平轨迹控制上的研究尚未见报道。

发明内容

本发明针对风场中平流层飞艇水平轨迹控制问题，提出基于Q-learning算法和CMAC神经网络学习的智能控制方法，该方法综合强化学习、深度学习理论。在强化学习算法中根据飞艇所处的风场环境，将风向作为Q-learning算法中关键的动作概率选择依据，实现了利用外部环境作为控制系统决策过程中的影响因素和对外部环境适应性强的目的，增强了飞艇的抗扰动性；在深度学习过程中，通过CMAC神经网络对动作值函数进行寻优，从而决定最优动作策略，指导飞艇上的执行机构(推力螺旋桨)进行相应的动作(偏航角)选择，达到对水平轨迹的控制。

该方法是基于无动力学模型的学习训练和控制过程，在训练学习过程中，需要一定的风场数据样本初始化相应的动作概率选择依据，而后在运动过程中在线获取数据进行再学习。根据该方法得到的控制策略在初始阶段会偏离期望轨迹，但由于飞艇是一个运动缓慢、大惯量的受控对象，因此，短暂的训练初期不会影响到整个过程的控制。这是一个面向环境和实际运动的控制系统，具有较强的自适应性和鲁棒性。在实际应用中，控制系统的输入为飞艇的当前位置状态、航向角(由导航定位装置获得)和风向角(由风向计获得)，输出为推力螺旋桨的倾转装置引起的航向角增量(偏航角)，进而实现平流层飞艇在风场中水平轨迹控制的目的。

为实现上述目的，本发明提供一种平流层飞艇水平轨迹智能控制方法，参考图1-图2，具体包括如下步骤：