[发明专利]一种飞行控制算法一体化训练平台

说明书

本发明公开了一种飞行控制算法一体化训练平台，属于机器学习技术领域，能够保证飞行控制算法训练，以及验证设计的通用性和易用性，进而提高了飞行控制算法一体化训练和验证设计的效率。平台包括：控制器、机器学习框架模块和可视化飞行仿真环境；其中：所述可视化飞行仿真环境包括动力学模型、视景仿真模型和调用接口；所述可视化飞行仿真环境通过所述调用接口与所述机器学习框架模块相连接；所述机器学习框架模块用于实现所述控制器和所述可视化飞行仿真环境之间的数据交互；所述视景仿真模型用于展示飞行控制算法的一体化训练过程中的飞行状态信息；所述动力学模型与所述视景仿真模型之间建立通讯连接。

技术领域

本发明涉及机器学习技术领域，尤其涉及一种飞行控制算法一体化训练平台。

背景技术

航天飞行任务呈现愈发复杂的趋势，突发情况更加多样，难度越发增大，愈发要求飞行器具有智能自主飞行能力。随着人工智能与控制论的不断交叉发展，结合深度神经网络的强大的拟合能力，诞生了深度强化学习，利用深度强化学习(Deep ReinforcementLearning，DRL)的高度拟人化特点，通过与被控对象的不断交互与试错来进行自我学习。深度强化学习其高度拟人化特点、端到端设计思想、先验依赖性低等特点得到了极大关注，并正被积极尝试应用于运动控制领域中。

目前，为便于学习算法的验证和优化，推出了GYM等可视化仿真验证环境，采用统一的接口描述方式，为强化学习算法的仿真和横向比较提供了极大的便利，其中通用的深度强化学习仿真环境，包括经典的倒立摆等控制任务、Atari游戏、机械臂控制任务、棋类游戏等。

但是在飞行控制领域，目前尚无可用的飞行控制算法仿真验证环境，飞行控制算法训练，以及验证设计的通用性和易用性较差，不利于推广应用。

发明内容

鉴于上述的分析，本发明实施例旨在提供一种飞行控制算法一体化训练平台，使得现有的飞行控制算法和机器学习框架均能无缝高效地接入一体化训练平台，能够保证飞行控制算法训练，以及验证设计的通用性和易用性，进而提高了飞行控制算法一体化训练和验证设计的效率。

本发明实施例提供了一种飞行控制算法一体化训练平台，所述飞行控制算法一体化训练平台包括：

控制器、机器学习框架模块和可视化飞行仿真环境；其中：

所述可视化飞行仿真环境包括动力学模型、视景仿真模型和调用接口；

所述可视化飞行仿真环境通过所述调用接口与所述机器学习框架模块相连接；

所述机器学习框架模块用于实现所述控制器和所述可视化飞行仿真环境之间的数据交互；

所述动力学模型包括飞行器动力学模型的模型特征参数；所述视景仿真模型用于展示飞行控制算法的一体化训练过程中的飞行状态信息；

所述动力学模型与所述视景仿真模型之间建立通讯连接。

进一步地，所述视景仿真模型包括FlightGear；相应的，所述动力学模型与所述视景仿真模型之间通过以下方式建立通讯连接：

通过UDP通讯端口建立所述动力学模型与FlightGear指定网络端口之间的通讯连接。

进一步地，所述飞行控制算法一体化训练平台还包括Docker容器模块：

所述控制器、所述机器学习框架模块和所述可视化飞行仿真环境内置于所述Docker容器模块中。

进一步地，所述飞行控制算法一体化训练平台还包括远程调试模块：

所述远程调试模块内置在终端中；所述终端与所述Docker容器模块通过网络连接；

所述远程调试模块为终端用户提供通过网页访问Docker容器训练环境的服务。