[发明专利]一种航空发动机强化学习控制方法及系统

说明书

本发明涉及一种航空发动机强化学习控制方法及系统，所述方法包括：建立航空发动机在巡航阶段时的双变量归一化状态空间模型；根据所述双变量归一化状态空间模型构建基于DDPG强化学习控制器；基于所述控制器对发动机的燃油比进行控制。本发明中的上述方法能够使得发动机的响应速度随学习时间的增加而不断提高，从而可大幅提高航空发动机的控制精度、响应速度和鲁棒性。

技术领域

本发明涉及航空发动机控制领域，特别是涉及一种航空发动机强化学习控制方法及系统。

背景技术

航空发动机具有强非线性和不确定性，并且其动态过程特性复杂，目前工业上主要还是以PID控制为主。PID控制器具有实现简单，适应性强，鲁棒性好等优点，但是对于航空发动机这种复杂系统，目前流行的PID控制方法无法获得最佳的响应能力。目前的航空发动机通过改善传统PID控制方法，按设定的控制程序工作，对复杂环境的适应能力不足，这一定程度上影响了发动机性能，使其在设计、使用和维修等方面留有很大的裕度。针对现有的控制策略普遍存在保守性较强等问题，航空发动机的智能控制逐渐成为研究热点。

近年来，出现了基于深度确定性策略梯度(Deep Deterministic PolicyGradient)的控制方法。Liqiang Jin提出了基于DDPG算法的多轴轮内电机电动汽车最优转矩分配控制；宋能学提出了基于DDPG的智能汽车稳定性控制方法；刘延栋提出了DDPG-vcep算法用来解决移动机器人路径规划；Siyu Guo等人提出了基于深度强化学习的无人驾驶船舶自主路径规划模型；Chujun Liu等人提出了基于DDPG的动态两足步行控制，设计网络在物理模拟器GAZEBO中训练，用于预测理想的足部位置，以在外界干扰下保持行走稳定。

上述工作及强化学习的其他应用工作取得了很好的控制效果。然而，强化学习在航空发动机控制中的应用却很少研究。

发明内容

本发明的目的是提供一种航空发动机强化学习控制方法及系统，使得发动机的响应速度随学习时间的增加而不断提高，从而可大幅提高航空发动机的控制精度、响应速度和鲁棒性。

为实现上述目的，本发明提供了如下方案：

一种航空发动机强化学习控制方法，所述方法包括：

建立航空发动机在巡航阶段时的双变量归一化状态空间模型；

根据所述双变量归一化状态空间模型构建基于DDPG强化学习控制器；

基于所述控制器对发动机的燃油比进行控制。

可选的，所述建立航空发动机在巡航阶段时的双变量归一化状态空间模型具体包括：

建立发动机部件级模型；

对所述发动机部件级模型进行归一化处理，得到归一化处理后的发动机部件级模型；

对归一化处理后的发动机部件级模型采用系统辨识建立双变量归一化状态空间模型。

可选的，所述发动机部件级模型具体采用以下公式：

其中，表示低压涡轮转速偏差值变化率，表示高压涡轮转速偏差值变化率，a_1(2n-1)表示任意常数，a_2(2n-1)表示任意常数，b₁表示任意常数，b₂表示任意常数，表示n阶低压涡轮转速偏差值，表示n阶高压涡轮转速偏差值，ΔFAR表示燃油比偏差值，n表示阶数。

可选的，当n＝1时，所述归一化处理后的发动机部件级模型具体采用以下公式：