[发明专利]一种平流层飞艇水平轨迹智能控制方法

权利要求书

1.一种平流层飞艇水平轨迹智能控制方法，其特征在于，包括如下步骤：

步骤1，建立风场中平流层飞艇的观测模型，并根据观测模型获取平流层飞艇的状态量，所述状态量包括平流层飞艇的当前点位置(x_c,y_c)、航向角ψ_c以及期望轨迹上的目标点位置(x_d,y_d)；

步骤2，建立风场中平流层飞艇基于Q-learning算法的马尔可夫决策过程模型，将观测模型中平流层飞艇当前点与目标点的相对位置(l_c,ψ_c)作为Q-learning算法的输入，将风向相对于飞艇运动的来流方向作为Q-learning算法中动作概率选择依据，其中，l_c为平流层飞艇的当前点位置与期望轨迹上的目标点位置的相对距离；利用了平流层飞艇所处的风场环境，将原本影响确定飞艇动力学模型的干扰因素作为控制策略中所需设计考虑的关键步骤，借助风场环境完成对平流层飞艇执行机构所做动作的抉择；

步骤3，基于样本数据中的期望输入、输出，对Q-learning算法进行训练，平流层飞艇每一个位置状态下所采取的每一个动作输入对应一个值函数Q，为每一个动作的值函数Q建立一个小脑模型神经网络，得到平流层飞艇每一个位置状态下所采取的每一个动作输入的最优值函数Q^π，其中，所述动作输入为平流层飞艇的航向角增量；

步骤4，基于平流层飞艇每一个位置状态下所采取的每一个动作输入的最优值函数Q^π，对每一时刻航向角增量的选择进行神经网络学习寻优，以得到最优动作策略π^*，完成平流层飞艇控制系统的训练；

步骤5，根据步骤4中训练后的控制系统，给定飞艇的期望轨迹和仿真时间，随机设置飞艇的位置初值，基于位置关系和最优动作策略，得到倾转角的变化、航向角的增量，将转移后的状态与当前目标状态之间的误差是否满足规定精度，作为目标是否更新的判断依据，将当前目标是否是最终目标，作为轨迹跟踪控制过程是否结束的判断依据，完成飞艇水平运动轨迹的智能控制；

步骤2中，建立风场中平流层飞艇基于Q-learning算法的马尔科夫决策过程模型，其中五个元素(S,A,R,P,J)对应到平流层飞艇中，具体为：

将观测模型中得到的位置状态值l_c和方向值ψ_c，作为马尔科夫决策过程模型中的状态空间S的组成元素；

将平流层飞艇上决定执行机构作用效果的控制参数即推力螺旋桨装置的矢量倾转角，作为马尔科夫决策过程模型中动作空间A的组成元素，根据实际飞行中倾转角的有效作用范围设计一定的范围裕度，并设置一定的动作步长；

将平流层飞艇状态转移之后的状态与目标状态之间的相对距离，作为马尔科夫决策过程模型中的回报奖励函数值R；

将环境风场中风向相对于平流层飞艇运动方向的夹角概率，作为平流层飞艇状态转移的概率P；

给予平流层飞艇系统一定的仿真时长，考虑该范围内的动作学习，并对学习过程中每一个动作回报奖励值进行折扣累加，将累加和作为马尔科夫决策过程模型中的目标优化函数J，最优动作策略的判断依据是在仿真时间段中J值是否为最小值；

所述将风向相对于平流层飞艇运动方向的夹角概率，作为平流层飞艇状态转移的概率P，具体为：

式中，t代表当前时刻，s_i为当前状态，s_j为t+1时刻状态，a_k代表受控对象在t时刻执行的动作值，S表示平流层飞艇的状态集，A表示平流层飞艇的动作集；r代表回报奖励值，作为影响概率大小的一定影响因素；P代表转移的概率，对于风场中的平流层飞艇而言，将风向相对于飞艇运动的来流方向作为概率值；p_ij(a_k)表示在执行a_k动作时，平流层飞艇状态由s_i转移到s_j的概率值。