[发明专利]一种基于强化学习的水下机器人控制方法及其进行跟踪的控制方法

说明书

本发明公开了一种基于强化学习的水下机器人控制方法及其进行跟踪的控制方法，属于水下机器人控制领域。本发明中控制中心给出水下机器人的期望轨迹信息，并发送至水下机器人；根据水下机器人模型中不确定参数的概率密度函数，分别对其选取采样点，利用采样点对原始的动力学模型降阶；水下机器人和周围环境进行交互以学习环境信息，在不同状态计算一步代价函数进行价值更新，用最小二乘法求解控制策略对应的价值函数的权重，用梯度下降法进行控制策略改进，循环迭代价值更新和策略改进两个过程直至收敛，从而得到当前位置追踪期望轨迹的最优控制策略；重复以上步骤得到对其余期望轨迹追踪的最优控制策略，最终完成追踪任务。

技术领域

本发明涉及水下机器人控制领域，具体涉及一种基于强化学习的水下机器人控制方法及其进行跟踪的控制方法。

背景技术

随着海洋资源的应用越来越广泛，水下机器人也受到了人们更多的重视。水下机器人在海洋中的一个重要应用就是位置追踪，但水下环境复杂多变，使得水下机器人的模型参数很难获取，控制难度大。

在现有技术中检索发现，公开号为CN106708069A的专利申请设计了一种水下移动作业机器人的协调规划与控制方法。该方法包括通过动态追踪微分器，实时规划当前期望的速度与状态，用迭代任务优先方法将笛卡尔空间的任务规划转化到随体坐标系和各关节坐标系的速度与加速度规划，根据速度与加速度规划，利用动力学方法来控制水下机器人和作业臂，从而使得水下移动作业机器人进行巡游与作业。但此发明没有考虑到水下环境中的不确定性对水下机器人的影响，在海洋环境中，水下机器人在运行中会受到各种干扰，如浪涌、摇摆和升沉的作用力的影响，如果不将这些不确定的因素考虑到算法之中，在实际运行中会达不到理想的效果。

再有，公开号为CN107544256A的专利申请设计了基于自适应反步法的水下机器人滑模控制，本发明提供一种基于自适应反步法的水下机器人滑模控制方法。该方法基于对复杂非线性系统的分解,通过为子系统设计虚拟控制量,结合滑动模态逐级递推得到全系统的控制量，针对系统不确定上界引起的抖振问题，控制器中引入径向基函数神经网络，自适应逼近系统内部不确定性与外部干扰，最终实现对系统抖振的控制,并实现高精度跟踪控制，提高闭环系统鲁棒性,满足工程需求。该发明中所提出的内部不确定性与外部干扰是确定参数，但在实际工作环境中，在考虑会对水下机器人造成干扰的参数时，应将参数设置为时变不确定参数。

发明内容

本发明的目的在于克服上述不足，提出一种基于强化学习的水下机器人控制方法，在准确追踪目标轨迹的同时减少对具有不确定参数系统的采样次数，利用水下机器人对环境的学习实现控制。

为实现上述目的，本发明采用下述技术方案：

一种基于强化学习的水下机器人控制方法，其特征在于，包括以下步骤：

步骤1、为水下机器人自身位置建立基于机器人自身期望轨迹位置的固定参考系，以及建立基于水下环境不确定因素的惯性参考系；

步骤2、对于惯性参考系，在前后、左右、上下三个方向上构建由基于不确定因素的系统映射机器人输出模型：

式中，a_i是水下机器人受到的第i个不确定因素，为系数，每个不确定因素a_i都遵循独立的概率密度函数

根据不确定因素各自的概率密度函数，为每个不确定因素定点采样，利用采样点对系统映射机器人输出模型进行训练，构建降阶系统映射机器人输出模型：

式中，是低阶映射中不确定因素的系数；

步骤3、将水下机器人真实位置转化为步骤1的固定参考系中的坐标，并获取步骤2惯性参考系中的机器人降阶系统映射的模型输出；

步骤4、定义水下机器人在不同的状态k下的真实位置为：