[发明专利]一种深度强化学习模型无人机部署试验方法和系统

说明书

本发明实施例提供一种深度强化学习算法模型无人机部署试验方法和系统，所述方法包括：接收无人机发送的状态信息；将所述无人机的状态信息按照预设的试验算法模型进行处理，获取决策行动信息，发送所述决策行动信息给所述无人机。通过将预设的深度强化学习算法模型部署于位于地面的算法模型计算平台，及发送决策行动信息回无人机任务板实现控制无人机，实现了通用深度强化学习算法模型计算运行框架在无人机试验系统中的部署。

技术领域

本发明涉及无人机试验领域，尤其涉及一种深度强化学习模型无人机部署试验方法和系统。

背景技术

随着无人机技术的发展及多元化应用的需求，在复杂环境下执行多任务的自主化无人机成为近年来无人机发展的重要趋势。自主化的需求对无人机自主控制策略提出了更高的要求，鉴于无人机使用者有限的预先规划能力，基于程序的自动控制策略已经不能满足未来自主化无人机在复杂环境下的多任务需求。

未来无人机自主化中必然会大规模融入人工智能技术，而基于多智能体的自主决策技术对于未来无人机自主化有重要的支撑作用，如何依靠多智能体技术在编队组织、多层次协作方面取得突破，是当前多智能体自主决策技术研究的重中之重。随着深度强化学习技术的发展，单智能体AI已逐步扩展到多智能体AI，例如Maddpg、QMIX算法已在多智能体协同决策行动方面取得不错的效果，Maddpg、QMIX算法都采用集中式训练、分布式部署的执行框架，即多个智能体通过共享信息训练出一个算法模型，在执行时算法模型分别部署在每一个智能体上。

目前，基于多智能体强化学习算法模型的无人机试验系统中执行验证主要采用的方法是在仿真中进行实验验证，实物试验验证难度较大，主要原因是实物试验一般采用的方法是在每一个实物无人机任务板上(odroid、TX2等)部署一套算法模型运行环境、算法模型执行程序及算法模型。但是，现阶段实物无人机任务板运算能力有限，例如odroid板子无法支撑深度强化学习算法模型的算力要求，同时实物无人机任务板与电脑主板结构类型不同，对于通用的算法模型计算运行框架如Tensorflow、Pytorch没有适用的版本。因此，如何解决由于无人机任务板与电脑主板结构类型不同导致的通用算法模型计算运行框架在无人机任务板中无法部署试验的问题，就成为亟待解决的问题。

发明内容

本发明实施例提供一种深度强化学习模型无人机部署试验方法和系统，用以解决现有技术中由于无人机任务板与电脑主板结构类型不同导致的通用算法模型计算运行框架在无人机任务板中无法部署试验的问题。

第一方面，本发明实施例提供一种深度强化学习模型无人机部署试验方法，其特征在于，包括：

接收无人机发送的状态信息；

将所述无人机的状态信息按照预设的试验算法模型进行处理，获取决策行动信息，发送所述决策行动信息给所述无人机。

可选地，所述接收无人机发送的状态信息具体包括：

通过地面站接收无人机发送的状态信息；

所述发送所述决策行动信息给所述无人机具体包括：

发送所述决策行动信息给所述地面站，所述地面站将所述决策行动信息发送给所述无人机。

可选地，所述预设的试验算法模型具体为：

根据无人机的试验内容预先在仿真器中设定好仿真场景，根据试验内容通过在仿真器中进行仿真试验对算法模型进行不断调试与优化，得到的最优试验算法模型。

可选地，所述根据无人机的试验内容预先在仿真器中设定好仿真场景具体包括：

根据无人机的试验内容具体设定多智能体算法、仿真器的交互接口和训练中的回报值；其中，所述多智能体算法为Maddpg多智能体强化学习算法，算法模型为多层全连接网络。