[发明专利]一种四旋翼无人机积分补偿确定性策略梯度控制方法

说明书

本专利公开了一种四旋翼无人机积分补偿确定性策略梯度控制方法。本发明使用深度神经网络对四旋翼无人机的控制器进行表示，将四旋翼无人机的运动状态通过深度神经网络直接映射到四个电机的控制指令，使用机器学习算法根据奖励反馈信号对深度神经网络进行训练，最终获得满足控制需求的控制器。本方法可以直接使用带有复杂非线性特性的四旋翼无人机数学模型进行训练，通过引入积分补偿机制结合确定性策略梯度算法进行训练，可以提高训练得到的控制器的鲁棒性和精确性。

技术领域

本发明属于无人机控制领域，涉及一种四旋翼无人机积分补偿确定性策略梯度控制方法。

背景技术

小型四旋翼无人机以其机械结构简单、使用成本低廉等优势在航空摄影、农业植保、社会治安、电力巡检、灾害评估与搜救等各个方面都发挥了巨大的作用。四旋翼无人机高效稳定的运动控制是其完成各类飞行任务的关键。四旋翼无人机的动力学模型是一个不稳定的系统，具有欠驱动、非线性、强耦合的特性。对于这样的系统模型的控制本身具有较大的难度。各类四旋翼无人机在使用材料、机身尺寸、机体重量、气动外形方面各不相同。其转动惯量、空气阻力系数等建模的关键参数实际上难以准确测量。另外考虑到四旋翼在实际飞行中，还面临各种外部的干扰，例如阵风干扰、任务配载变化等问题。

针对四旋翼无人机控制问题中动态模型参数未知和外部扰动未知的问题，国内高校和研究机构也给出了一些解决方法。例如基于全局滑模控制的方法(专利：一种四旋翼无人机控制方法；申请号：201610361685.1)，该方法将全局滑模控制的动态滑模面的衰减函数设计为由三个指数函数项组成的一阶可导函数，使其能在在有限时间内衰减到零，从而提高四旋翼无人机的动态响应速度。这类基于变结构控制理论的四旋翼控制方法主要有两方面的问题：(1)在设计控制器时对四旋翼的非线性数学模型进行了较大的简化，并且对无人机的运动状态加以限制，只能应用于小倾斜角的飞行姿态。因此通过数学推算得到的控制器在实际中难以达到理论上的效果。(2)控制器待定参数较多，并且没有明确的选取范围和方法，在实际应用中选取这些参数具有较大的困难。

发明内容

针对现有的控制方法的不足之处，本发明提供一种四旋翼无人机积分补偿确定性策略梯度控制方法，解决因控制器设计过程中数学模型简化引发的不良影响，以及控制器待定参数较多带来的问题，

本发明采用的技术方案是使用深度神经网络构建四旋翼无人机的控制器，将四旋翼无人机的运动状态通过深度神经网络直接映射到四个电机的控制指令，使用积分补偿确定性策略梯度算法，根据奖励反馈信号对深度神经网络进行训练，不断更新其参数，最终获得满足控制响应需求的控制器。

本专利提供一种四旋翼无人机积分补偿确定性策略梯度控制方法，包括如下步骤：

步骤S1，建立无人机非线性数学模型，如下式所示：

其中φ、θ、ψ分别表示四旋翼无人机的滚转、俯仰、偏航三个姿态角；分别表示三个姿态角度的二阶导数；x、y、z分别表示四旋翼无人机在地理三维坐标系下的位置；代表三个位置的二阶导数；L＝0.2m为四旋翼飞行器的力臂长度；K＝8.78为四旋翼飞行器电机的推力系数；K_ψ＝0.4为电机的反扭矩系数；I_x＝0.03kg·m²、I_y＝0.03kg·m²、I_z＝0.04kg·m²为四旋翼无人机绕机体三轴的转动惯量；m＝1.79kg为四旋翼的总质量；g＝9.81m/s²为重力加速度常数；sin和cos分别为正弦和余弦函数，四旋翼无人机的运动状态量表示为：

其中为三个姿态角度的一阶导数，即三轴角速度，为三维速度误差值，定义为其中为四旋翼无人机三维位置坐标的一阶导数，即三维速度值；为四旋翼无人机的三维目标速度值；下标t表示时间步数，四旋翼无人机的控制量表示为：a＝[u₁，u₂，u₃，u₄]；