[发明专利]基于强化学习和迁移学习的飞行器全自动气动优化方法

说明书

本发明公开了一种基于强化学习和迁移学习的飞行器全自动气动优化方法，用于解决现有气动优化方法存在的容易陷入局部最优或收敛速度缓慢的问题，同时该优化方法在最后的高精度优化阶段将人工干预排除在外，进一步提高了优化效率。技术方案是首先分别建立基于半经验估算和高精度流体仿真的强化学习环境，然后构建强化学习神经网络、设置奖励函数，利用强化学习的全局寻优能力，在网络训练的过程中从半经验估算方法中提取优化经验并储存于网络参数中，然后构建另一个强化学习神经网络，并使用迁移学习将提取的优化经验迁移到该网络，再将其运用到基于高精度流体仿真的气动优化中，最后通过训练该网络获取气动性能优异的高精度设计参数。相对于背景技术方法，本发明提高了收敛速度，同时具备强大的全局寻优能力，对高精度气动优化具有很大的工程价值。

技术领域

本发明属于飞行器工程技术领域，特别涉及一种基于强化学习和迁移学习的飞行器的全局气动优化方法。

背景技术

气动优化是指飞行器各主要部件的外形和相对位置的设计，需要在满足给定的约束条件下，获取气动性能最优的设计。主流的气动优化方法可分为两大类：基于梯度的方法和传统智能方法。基于梯度的方法的单极值问题的优化效率很高，但气动优化大多属于复杂的多极值问题，基于梯度的方法一般容易陷入局部最优，不能满足全局气动优化的需求。传统智能方法主要包括各类遗传算法、粒子群算法等，这类方法具有较好的全局寻优能力，适用于复杂的多极值优化问题，但收敛速度缓慢难以直接运用于耗时的高精度流体仿真，一般与代理模型(如响应面、Kriging等)结合，但构建包含多个设计变量的高精度代理模型也是十分困难和耗时的。此外，现有的主流方法均需要一定程度的人工参与，在优化过程中需要有穿插人机交互环节，即以设计师的专业知识作为指导来开展气动优化工作，比如智能算法中初始种群的选取、算法参数的设置等，无法实现全自动优化，降低了优化流程的迭代效率。

综上，现有的全局气动优化方法均存在易陷入局部最优或收敛速度慢的缺陷，且在方法参数配置和计算过程中需要人工参与，难以实现高效的全自动优化，业界迫切需要一种兼顾全局寻优能力强、收敛速度快且无需人工参与的气动优化方法。

发明内容

为了解决现有飞行器气动优化算法全局寻优能力和收敛速度两者不能兼得的问题，本发明提出一种基于强化学习和迁移学习的飞行器全局气动优化方法，且该方法在最终优化进行阶段无需人工干预，能实现全自动优化，进一步提高了优化效率。该方法针对给定的飞行器气动优化问题，首先构建一个强化学习神经网络，通过强化学习神经网络与半经验工程估算方法的交互训练，预先提取优化经验并储存在神经网络中；第二步构建另一个强化学习神经网络，使用迁移学习方法对该网络进行初始化，即将第一个强化学习神经网络所提取优化设计经验，通过共享神经网络参数的方法传递给第二个强化学习神经网络；第三步将第二个强化学习神经网络与高精度流体仿真(CFD)相结合，通过二者的交互训练获取优异的气动布局设计。本发明充分利用强化学习本身的强大全局寻优能力，先从半经验估算方法中提取的优化设计经验，并利用这些经验，使第二次强化学习在开始寻优之前，就拥有了较高的起点和大量先验知识，大大缩短了神经网络训练收敛的时间，同时依然保留了强化学习的全局寻优能力，达到兼顾全局寻优能力和收敛速度的效果，且由于半经验估算方法的计算速度远远快于高精度流体仿真，所以经验提取环节花费的时间可以忽略，对基于高精度流体仿真的气动优化具有很大的工程价值。

本发明解决飞行器全局气动优化问题所采用的技术方案：一种基于强化学习和迁移学习的飞行器全自动气动优化方法，其特点包括以下步骤：

步骤一，建立飞行器气动外形的参数化方法，选取参数化后的参数作为设计变量，参数化方法为根据给定的优化问题，选取能确定飞行器气动外形的几何参数，以飞行器翼面优化为例，包括翼展、翼尖弦长、翼根弦长、翼面前缘后掠角度等；