[发明专利]一种飞行器双延迟深度确定性策略梯度姿态控制方法

说明书

一种飞行器双延迟深度确定性策略梯度姿态控制方法，属于飞行器控制技术领域。方法如下：建立飞行器动力学模型形成强化学习环境；初始化强化学习交互环境、智能体及最大步数；获得飞行器的控制量作为动作量；计算动作量对应的奖励函数值及下一个观测量，组合形成经验数据记录至经验回放区；对智能体参数进行调整完成一轮强化学习；输出飞行器控制量燃料空气混合比与升降舵偏角。本发明是一种高精度、自适应的飞行器智能控制方法，通过双延迟深度确定性策略梯度方法进行强化学习，实现弱依赖于模型的最优姿态控制器设计，仅需要飞行器的基本模型，模型中各参数量不需完全精确给出，从而减弱了控制系统设计对于模型的依赖程度。

技术领域

本发明涉及一种种飞行器双延迟深度确定性策略梯度姿态控制方法，属于飞行器控制技术领域。

背景技术

飞行器由于参数不确定性及耦合性强、模型非线性强、干扰复杂等诸多问题，难以建立准确的控制模型，而传统控制器的设计方法依赖较为精确的控制模型，因而需要开发一种设计过程弱依赖于飞行器精确模型的控制方法。

发明内容

为解决背景技术中存在的问题，本发明提供一种飞行器双延迟深度确定性策略梯度姿态控制方法。

实现上述目的，本发明采取下述技术方案：一种飞行器双延迟深度确定性策略梯度姿态控制方法，所述方法包括如下步骤：

S1：建立飞行器动力学模型，封装形成强化学习环境；

S2：初始化强化学习交互环境、智能体以及最大步数；

S3：获得飞行器的控制量作为动作量；计算动作量对应的奖励函数值及下一个观测量，将经验数据存入至经验回放区；

S4：自经验回放区中随机采样经验数据，基于双延迟深度确定性策略梯度算法对智能体参数进行调整，完成一轮强化学习；

若强化学习累积轮数未达到S2中定义的最大步数则返回S3；否则，结束强化学习；

S5：结束强化学习后，保存智能体，保存Actor网络，作为自适应控制器使用；所述自适应控制器在输入总观测量的条件下，输出飞行器控制量燃料空气混合比与升降舵偏角。

与现有技术相比，本发明的有益效果是：

本发明是一种高精度、自适应的飞行器智能控制方法，通过双延迟深度确定性策略梯度方法进行强化学习，实现弱依赖于模型的最优姿态控制器设计，仅需要飞行器的基本模型，模型中各参数量不需完全精确给出，从而减弱了控制系统设计对于模型的依赖程度。

附图说明

图1为本发明的设计流程图；

图2为本发明的强化学习流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种飞行器双延迟深度确定性策略梯度姿态控制方法，所述方法包括如下步骤：

S1：基于飞行器设计参数及风洞数据，建立飞行器动力学模型，封装形成强化学习环境；

S101：建立飞行器动力学模型为：

式(1)中：

V表示速度；

α表示攻角；

g表示重力加速度；

γ表示航迹倾角；

θ表示俯仰角；