[发明专利]一种基于强化学习的AUV自主避障方法

权利要求书

1.一种基于强化学习的AUV自主避障方法，其特征在于，包括以下步骤：

步骤1：设定AUV海底航行自主避障逻辑规则；

如果前视声呐无法探测到障碍物，则AUV保持现有航行高度通过障碍物；

如果前视声呐探测到障碍物且障碍物高度能够确定，则确定障碍物高度，拉高AUV使AUV航行高度超过障碍物通过障碍物；

如果前视声呐探测到障碍物且障碍物高度无法确定，则AUV启动自主偏航策略，通过偏航方式绕过障碍物；

步骤2：AUV自主偏航策略；

采用基于策略梯度的强化学习模型确定最佳偏航角，基于策略梯度的强化学习模型的建立过程如下：

步骤2-1：初始化网络，建立参数为θ^μ的Actor-Evaluate网络与参数为θ^μ′的Actor-Target网络，Actor-Evaluate网络和Actor-Target网络组成Actor网络；建立参数为θ^q的Critic-Evaluate网络与参数为θ^q′的Critic-Target网络，Critic-Target网络与Critic-Evaluate网络的初始参数相同；

步骤2-2：Actor-Evaluate网络根据输入的状态s_t，选择一个行为a_t；

步骤2-3：AUV根据行为a_t调整姿态，并获得回报r_t与下一状态s_t+1；

步骤2-4：Actor网络将(s_t，a_t，r_t，s_t+1)存入样本库中；

步骤2-5：当样本库数量达到预设值时，从样本库中随机采样N组数据作为训练数据；

步骤2-6：将样本数据输入Critic-Evaluate网络，计算网络输出的值函数L(θ)：

其中，N表示样本总数，r_i表示第i个样本的回报函数值，γ表示衰减系数，Q′(.)表示Critic-Target输出的结果，a_i+1表示第i个样本选择的行为，a_i表示第i-1个样本选择的行为，μ′(a_i+1|θ^μ′)表示为Actor-Target网络根据输入a_i+1生成的行为，Q(a_i，s_i|θ^q)表示由Critic-Evaluate根据输入a_i与s_i输出的结果；

步骤2-7：使用反向传播算法计算更新参数θ^q；

步骤2-8：对Actor网络进行policy-gradient，并更新参数θ^μ：

步骤2-9：重复步骤2-2到步骤2-8，每经过τ次循环后，将Critic-Evaluate网络的参数全部拷贝到Critic-Target网络，然后继续重复步骤2-2到步骤2-8，直至AUV绕过障碍物。