[发明专利]一种自主式水下机器人神经网络强化学习控制方法

摘要

本发明提供一种自主式水下机器人神经网络强化学习控制方法，通过获取AUV当前的位姿信息；计算状态量，将状态输入强化学习神经网络正向传播计算Q值，选择动作A来计算控制器参数；将控制参数与控制偏差输入控制器,计算控制输出；自主式机器人根据执行机构配置进行推力分配；通过控制响应计算奖赏值，进行强化学习迭代，更新强化学习神经网络参数。本发明将强化学习思想与传统控制方法相结合，使AUV能够在航行中对自身运动性能进行评判，根据运动中产生的经验来在线调整自身控制器性能，通过自我学习更快适应复杂环境，从而获得更好的控制精度与控制稳定性。

主权项

1.一种自主式水下机器人神经网络强化学习控制方法，其特征在于，具体的实现步骤为：步骤1.获取AUV当前的位姿信息，通过AUV搭载的位姿传感器获取当前位姿信息，通过与期望位姿信息比较，计算位姿偏差e与偏差变化率步骤2.计算控制器参数，将位姿偏差e与偏差变化率输入神经网络Q‑学习参数调整器中，根据状态‑动作奖赏值，即Q值，输出对应的最优动作值a；步骤3.控制器计算输出的力或力矩，使用最优动作值a对控制器进行赋值，并将位姿偏差e与偏差变化率作为控制器输入，控制器计算输出力或输出力矩；步骤4.自主式机器人进行推力分配，AUV的执行机构对控制器计算的输出力或输出力矩进行推力分配计算，输出对应的力与力矩，实现对AUV的控制；步骤5.更新强化学习神经网络参数，对输出结果进行评判，反馈一个瞬时奖赏值r，转到步骤2，通过该值以及先前经验建立起的状态‑动作奖赏值进行迭代。