[发明专利]一种基于深度强化学习的无人艇航迹控制方法

权利要求书

1.一种基于深度强化学习的无人艇航迹控制方法，其特征在于：包括如下步骤：

步骤一：初始化一个决策网络Q和一个目标网络Q′的网络参数；

步骤二：获得无人艇当前状态S_t，包括当前时刻的位置信息、速度信息、无人艇搭载的避障传感器的数据，以及之前时刻舵角位置和螺旋桨输出动力的信息；

步骤三：对无人艇的状态信息进行预处理，对于船的大惯性将长度和角度信息的微分量引入到无人艇的状态信息；对于船的迟滞性将状态信息的积分量引入到状态信息，形成状态S′_t，其中S′_t＝(S_t，S_t-1，S_t-2…S_t-λ)；

步骤四：将状态S′_t代入决策网络Q并根据策略π(ac|s)得到动作ac和奖励r，

奖励函数为：

r＝k·r_v·r_y+r_s+r_z

其中：r_v为速度奖励，以靠近当前目标航迹点方向上的速度设置奖励，无人艇与目标航迹的水平距离为x_t，且x_t≥0

r_y为航迹控制奖励，无人艇航行贴线精度越高奖励越大，无人艇与目标航迹的垂直距离为y_t，且y_t≥0

r_s为位置奖励，无人艇越靠近目标位置奖励越大，与目标航迹点距离越小，奖励越大，与目标航迹点距离为

无人艇到达目标航迹点的范围阈值d内，无人艇的当前航迹点更新为下一航迹点；

r_z为避障奖励，通过避障传感器无人艇可以获得无人艇前方障碍物信息，以无人艇航行速度的大小设置动态的安全距离gv_d，当小于安全距离时无人艇获得负奖励，

以上公式中字母a，b，c，d，g，h，k均为常数；

步骤五：执行动作并进入下一状态S_t+1并预处理得到状态S′_t+1；

步骤六：将(S_t′，S′_t+1，ac，r)作为一条数据连同采样优先级存储到经验池中；

步骤七：以采样优先级作为采样概率的依据采样m条数据，投入目标网络得到损失函数ω；

步骤八：用损失函数ω更新决策网络Q；

步骤九：若i＞＝n，则用决策网络Q的参数更新一次目标网络Q′，且令i＝0，

i为决策网络Q的更新次数，n为预设常量；

步骤十：观察是否达到训练结束条件，达到了就结束训练，否则跳转到步骤二。

2.根据权利要求1所述的一种基于深度强化学习的无人艇航迹控制方法，其特征在于：所述步骤二中，将之前时刻舵角，螺旋桨输出动力这些动作信息也作为状态信息，作为当前状态信息的一部分。

3.根据权利要求1所述的一种基于深度强化学习的无人艇航迹控制方法，其特征在于：所述步骤三中，将状态S′_t输入到状态动作值函数网络中，使不满足马尔科夫性的大迟滞系统也可一定程度上满足马尔科夫性。

4.根据权利要求1所述的一种基于深度强化学习的无人艇航迹控制方法，其特征在于：所述步骤二中，动态调整训练神经网络的数据被采样的概率，促进最新的数据能被尽早被利用，保证所有数据被均匀地使用。