[发明专利]一种基于强化学习的固定翼无人机群集控制方法

权利要求书

1.一种基于强化学习的固定翼无人机群集控制方法，其特征在于，包括：

步骤S1、训练阶段：建立随机无人机动力学模型、执行器深度神经网络和评价器深度神经网络，持续采集智能体与环境进行交互的历史经验，并存储到经验池中；从经验池中随机进行批次采样，不断更新执行器和评价器的网络参数，最终形成保存评价器网络模型；

步骤S2、执行阶段：僚机通过传感器获取自身位置和姿态信息，载入评价器网络模型，评价器根据当前系统联合状态输出僚机最佳滚转动作，长机滚转角设定值由操控员给出；直至完成飞行任务；

所述步骤S1中包括：

步骤S11、考虑无人机在恒定高度飞行，其动力学模型用简化的四自由度模型描述；在滚转、空速各个子状态引入随机性，建立随机无人机动力学模型；

步骤S12、分别建立执行器深度神经网络和评价器深度神经网络，将输入状态映射到输出动作和该状态的累计折扣回报，并随机初始化网络参数；

步骤S13、持续采集智能体与环境进行交互的历史经验，所述智能体为僚机，并存储到经验池中；

步骤S14、从经验池中随机进行批次采样，应用Adam算法不断更新执行器和评价器的网络参数；所有样本均会用于更新评价器网络的参数，但只有TD误差为正的样本才会使执行器的网络参数发生改变；

步骤S15、当训练情节数达到预设条件时，结束交互过程，并保存评价器网络的模型参数；

所述步骤S2中包括：

步骤S21、智能体通过传感器获取自身位置和姿态信息，并通过通信链路获取长机的位置和姿态信息，进而组成系统联合状态；

步骤S22、载入评价器网络模型，评价器根据当前系统联合状态输出僚机最佳滚转动作；长机滚转角设定值由操控员给出；

步骤S23、长机和僚机的自驾仪根据各自的滚转角设定值，由PID控制器完成底层闭环控制；

步骤S24、重复上述过程，直至完成飞行任务。

2.根据权利要求1所述的基于强化学习的固定翼无人机群集控制方法，其特征在于，所述步骤S13中，所述历史经验为四元组(z_k,a_k,g_k,z_k+1)，其中z_k为当前状态，a_k为执行动作，g_k为执行动作a_k获取的回报，z_k+1为执行动作a_k后达到的状态；所述交互过程为：长机的滚转动作随机产生以增加系统的随机性；智能体获取长机的状态信息及自身的状态信息，组成联合状态信息输入到执行器中，高斯探索策略根据执行器输出选取僚机的滚转动作；分别将长机和僚机的滚转指令输入随机无人机动力学模型，得到长机和僚机下一时刻的状态和回报函数值。

3.根据权利要求1所述的基于强化学习的固定翼无人机群集控制方法，其特征在于，所述建立执行器深度神经网络，执行器对应动作选择策略，使用多层感知机将输入状态映射到输出动作；执行器MLP包括1层输入层、4层隐含层和1层输出层；隐含层的节点数分别取128、256、256和64；隐含层均使用ReLU激活函数，其表达式为：f(x)＝max(0,x)；输出层使用tanh激活函数，其表达式为f(x)＝(e^x-e^-x)/(e^x+e^-x)，以保证评价器输出值在[-1,+1]之间，线性放大后即映射到滚转动作空间。

4.根据权利要求1所述的基于强化学习的固定翼无人机群集控制方法，其特征在于，所述建立评价器深度神经网络，评价器对应价值函数，使用MLP将输入状态映射到该状态的累计折扣回报；评价器MLP包括1层输入层、4层隐含层和1层输出层；隐含层的节点数分别取128、256、256和64；隐含层均使用ReLU激活函数，其表达式为：f(x)＝max(0,x)；输出层使用linear激活函数，其表达式为：f(x)＝x。

5.根据权利要求1所述的基于强化学习的固定翼无人机群集控制方法，其特征在于，所述评价器网络模型运行在僚机机载电脑上，输出的滚转指令每隔1s更新一次。