[发明专利]一种基于逆强化学习的运载火箭减载控制方法

说明书

本发明提供一种基于逆强化学习的运载火箭减载控制方法，其具体步骤如下：一、考虑风场情况的运载火箭动力学模型的建立；二、被动减载专家示范生成；三、逆强化学习减载控制策略训练；四、减载控制器迁移，即将训练得到的减载控制策略网络参数固化，与运载火箭动力学的输入输出接口实现闭环，作为减载控制器。通过以上步骤，本发明能实现运载火箭减载控制，解决了目前存在的依赖精确风场信息、无法保证制导精度的问题，达到了较好的稳定性和普适性。本发明所述制导控制方法科学，工艺性好，具有广阔推广应用价值。

技术领域

本发明提供一种基于逆强化学习的运载火箭减载控制方法，它是一种运载火箭上升段在稠密大气层内自主调整姿态以减小气动载荷的制导控制方法，适用于一般运载火箭，属于航空航天；制导、导航与控制技术；强化学习控制领域；

背景技术

运载火箭上升段飞行过程中，高速飞行的箭体与气流产生相互作用，使得箭体受到气动力和气动力矩，称为气动载荷；为维持箭体姿态稳定，需要施加同等大小的控制力矩与气动力矩平衡，从而在箭体产生内力弯矩；由于运载火箭具有高长细比，上述内力弯矩容易造成运载火箭结构的失稳甚至破坏；

运载火箭减载控制就是通过控制的方式，减小运载火箭飞行过程中的气动载荷；根据理论分析和长期的工程实践，已经提出了多种减载控制方法，分为主动减载和被动减载两类，被动减载是通过观测数据建立运载火箭飞行环境的风场模型，通过对标准弹道进行风修正的方式减小实际飞行中的气动载荷，但对于无法建模的风干扰，被动减载无法起到减载作用；主动减载则是通过在姿态控制系统中引入与气动载荷直接或间接相关的反馈量，实现对气动载荷的抑制，由于主动减载控制是在运载火箭姿态控制回路的基础上增加气动载荷反馈回路，其减载效果受到姿态控制回路稳定性的约束，且无法保证制导精度；

综上所述，本发明为解决现有运载火箭减载控制难题，以被动减载轨迹作为专家示范，将逆强化学习技术应用于减载控制中，从被动减载专家示范中推断出综合表征气动载荷和制导精度的减载指标，并根据此减载指标进行随机风场下的强化学习训练，得到具有风场适应性且能够保证制导精度的减载控制器，具有一定独创性；

发明内容

(一)本发明的目的

本发明的目的是为了解决上述问题，提出一种基于逆强化学习的运载火箭减载控制方法，即一种运载火箭上升段减载控制方法，通过逆强化学习减载指标推断和减载控制策略训练，得到具有风场适应性且能够保证制导精度的减载控制策略，以解决现有技术存在的依赖精确风场信息、无法保证制导精度等问题，提高运载火箭的可靠性；

(二)技术方案

本发明一种基于逆强化学习的运载火箭减载控制方法，其具体步骤如下：

步骤一、模型建立；

根据统计风场信息和运载火箭总体参数，建立考虑风场情况的运载火箭动力学模型；

步骤二、被动减载专家示范生成；

根据已有被动减载方法，根据已知风场信息对标称轨迹进行风修正，并对风修正后的轨迹进行跟踪，生成被动减载专家示范；

步骤三、逆强化学习减载控制策略训练；

根据生成对抗模仿学习逆强化学习方法，将被动减载专家示范作为输入，训练得到逆强化学习减载控制策略网络；

步骤四、减载控制器迁移；

将训练得到的减载控制策略网络参数固化，与运载火箭动力学的输入输出接口实现闭环，作为减载控制器；

其中，在步骤一中所述的“建立考虑风场情况的运载火箭动力学模型”，其建立模型的具体作法如下：考虑平面地球假设，并根据文献提供的统计数据，在水平方向加入风场模型，结合相关坐标系，根据各状态量之间几何和力学关系在射面内建立运载火箭动力学模型；