[发明专利]基于深度Q学习的航空发动机控制装置

说明书

本发明公开了一种基于深度Q学习的航空发动机控制装置，属于航空宇航推进理论与工程中的系统控制与仿真技术领域。本发明航空发动机控制装置包括：加速和减速限制模块，用于输出航空发动机各参数的物理限制值；深度Q学习控制器，用于根据控制指令和反馈参数以及所述航空发动机各参数的物理限制值，通过深度Q学习方法得到航空发动机的燃油流量，并按照所得到的燃油流量对航空发动机的燃油输入进行控制。相比现有技术，本发明采用深度Q学习方法来构建发动机控制器，使得发动机随学习时间增加，其响应速度不断提高，从而提高发动机响应速度。

技术领域

本发明属于航空宇航推进理论与工程中的系统控制与仿真技术领域，具体涉及一种基于深度Q学习的航空发动机控制装置。

背景技术

在一些飞行情况下，如着陆、起飞或某些紧急情况，飞机要求发动机从一个运行状态快速响应到另一个运行状态。瞬态过程中响应时间越短，发动机的响应性能越好,如何提高发动机的瞬态响应性能是发动机控制系统设计的一个重要指标。发动机控制中最常用的方法是比例积分微分(PID)，它具有鲁棒性强、结构简单、调节方便等特点。然而，对于强非线性、多变量、时滞受控的对象，目前流行的PID控制方法无法获得最佳的响应能力。

近年来，出现了基于深度Q学习(Deep Q Learning，DQL)的控制方法，由于该方法随着学习时间，响应能力越来越快，引起了研究者的兴趣。针对被动动态步行机器人，Schuitema提出了一种基于强化学习(RL)算法的控制器。Wang S采用Q学习算法对双足机器人在非平坦路面上行走的比例微分(PD)控制器参数进行选择，使动态步行机器人对地面干扰具有更强的鲁棒性。为解决双足机器人的连续状态问题，ZiQiang等人设计了基于BP神经网络(BPNN)的Q学习控制器。对于直接从高维感觉输入学习控制策略，Mnih等人提出了基于卷积神经网络的深度强化学习。Gu S导出了Q-学习算法的连续变型，并探讨了学习模型在加速无模型强化学习中的应用。Zhang M等人提出了一种高维连续系统内部记忆策略的学习方法。Lenz等人针对具有复杂非线性动力学的任务，提出了一种在线实时模型-预测控制DeepMPC，并使用了一种新的深层体系结构和学习算法，即直接从数据中学习复杂任务的控制器。Oh等人给出了Minecraft游戏中RL任务的集合，并使用这些任务系统地将现有的DRL体系结构与建议的基于内存的DLL体系结构进行比较和对比。

上述工作及DQL的其他应用工作取得了很好的控制效果。然而，DQL在航空发动机控制中的应用却很少研究。

发明内容

本发明所要解决的技术问题在于克服现有技术不足，提供一种基于深度Q学习的航空发动机控制装置，采用深度Q学习方法来构建发动机控制器，使得发动机随学习时间增加，其响应速度不断提高，从而提高发动机响应速度。

本发明具体采用以下技术方案解决上述技术问题：

一种基于深度Q学习的航空发动机控制装置，包括：

加速和减速限制模块，用于输出航空发动机各参数的物理限制值；

深度Q学习控制器，用于根据控制指令和反馈参数以及所述航空发动机各参数的物理限制值，通过深度Q学习方法得到航空发动机的燃油流量，并按照所得到的燃油流量对航空发动机的燃油输入进行控制；所述深度Q学习方法的动作值函数Q_j(s,a)具体如下：

其中，s是发动机状态，a是发动机的控制指令，α是深度学习的学习率,r是回报值,γ是回报衰减率,s_j是第j时刻发动机状态，s_t是发动机目标状态；第j时刻的回报值r_j具体如下：

其中，表示控制目标的测量值，u是控制变量向量，β＞0，c是发动机所有运行限制的测量值，c_lim是发动机所有运行限制的物理限制值，Q和R是对称的正定矩阵。