[发明专利]一种自主式水下机器人神经网络强化学习控制方法

说明书

本发明提供一种自主式水下机器人神经网络强化学习控制方法，通过获取AUV当前的位姿信息；计算状态量，将状态输入强化学习神经网络正向传播计算Q值，选择动作A来计算控制器参数；将控制参数与控制偏差输入控制器,计算控制输出；自主式机器人根据执行机构配置进行推力分配；通过控制响应计算奖赏值，进行强化学习迭代，更新强化学习神经网络参数。本发明将强化学习思想与传统控制方法相结合，使AUV能够在航行中对自身运动性能进行评判，根据运动中产生的经验来在线调整自身控制器性能，通过自我学习更快适应复杂环境，从而获得更好的控制精度与控制稳定性。

技术领域

本发明属于自主式水下机器人控制技术领域，具体涉及一种自主式水下机器人神经网络强化学习控制方法。

背景技术

自主式水下机器人(Autonomous Underwater Vehicle,AUV)，AUV作为无人载体系统的一员，是一种具自主航行功能的水下航行器。通过搭载各类传感器设备以及通信系统，可以实现无人艇的位姿信息获取，与动力执行机构构成了AUV的控制系统。同时AUV作为一种水下载体可以根据所需执行的任务来搭载所需设备以实现探测和军事等各种用途。评价一艘AUV的性能优劣，往往通过其执行任务的速度、精度以及稳定性方面进行评判，具有良好的性能的AUV通常能在任务执行中会获得更高的效率。

实际应用中，AUV的运动控制系统多采用欠驱动系统，这种系统具有节省能源消耗、结构简单、便于制作等特点，但于此同时欠驱动系统的使用也增加了控制器的设计难度。

随着人类对海洋探索的不断深入，AUV得到不断的发展，高精度与智能化已成为其主要设计目标。随着计算机科学发展，各类学习算法也呈爆炸式发展，通过这类算法可以赋予机器人以学习能力，这种思想对于经常处于复杂海况下作业的AUV具有更高的现实意义。

传统的控制器往往有两种主要方式，一种需要人们根据经验不断对参数进行离线调整，耗费时间较长，且对环境变化的适应性较差。另一种对AUV的模型参数进行辨识，再进行控制器的设计，而这种方法则比较依赖辨识模型精度，对于外界干扰的辨识难度较大。

发明内容

本发明的目的在于提供了一种自主式水下机器人神经网络强化学习控制方法，将强化学习思想与传统控制方法相结合，使AUV能够在航行中对自身运动性能进行评判，根据运动中产生的经验来在线调整自身控制器性能，通过自我学习更快适应复杂环境，从而获得更好的控制精度与控制稳定性。

本发明的目的是这样实现的：

一种自主式水下机器人神经网络强化学习控制方法，具体的实现步骤为：

步骤1.获取AUV当前的位姿信息，通过AUV搭载的位姿传感器获取当前位姿信息，通过与期望位姿信息比较，计算位姿偏差e与偏差变化率

步骤2.计算控制器参数，将位姿偏差e与偏差变化率输入神经网络Q-学习参数调整器中，根据状态-动作奖赏值，即Q值，输出对应的最优动作值a；

步骤3.控制器计算输出的力或力矩，使用最优动作值a对控制器进行赋值，并将位姿偏差e与偏差变化率作为控制器输入，控制器计算输出力或输出力矩；

步骤4.自主式机器人进行推力分配，AUV的执行机构对控制器计算的输出力或输出力矩进行推力分配计算，输出对应的力与力矩，实现对AUV的控制；

步骤5.更新强化学习神经网络参数，对输出结果进行评判，反馈一个瞬时奖赏值r，转到步骤2，通过该值以及先前经验建立起的状态-动作奖赏值进行迭代。

步骤1所述的计算位姿偏差e与偏差变化率的过程为

e＝y-y_d