[发明专利]一种概率滤波强化学习无人船控制方法、装置及终端设备

说明书

本申请适用于无人驾驶控制技术领域，提供了一种概率滤波强化学习无人船控制方法、装置及终端设备，方法包括：获取t时刻的无人船的第一状态数据、第一控制信号和t‑1时刻的第二控制信号，对第一状态数据、第一控制信号及第二控制信号进行偏差补偿处理，得到偏差补偿信号，根据偏差补偿信号进行规划，得到目标控制信号，根据目标控制信号控制无人船在t+1时刻的运动状态，实现对不断变化复杂海洋环境中扰动因素的实时响应，从而提高应对复杂海洋环境的泛化能力、控制能力及稳定性能。

技术领域

本申请属于无人驾驶控制技术领域，尤其涉及一种概率滤波强化学习无人船控制方法、装置及终端设备。

背景技术

近年来，由于船舶在运动过程中，极易受到海洋环境中风、浪、流等多种难以观测、预测并且快速变化的扰动因素的影响，使得船舶的安全性不高，导致国际内航运业专业工作人士日益稀缺，航运成本增加，同时引起一些由于人工失误引发的各类海运事故，因此无人船艇的驾驶技术是在提高航运效率、加强航运安全、减少环境污染等多方面具有重大意义的一项技术。

相关的无人船艇的驾驶技术通常由现代信息技术、自动控制技术和人工智能技术等汇集而成的具有感知能力、记忆能力且能通过与环境相互作用学习适应环境并自主决策的无人船控制方法、传统的基于无模型强化学习算法的无人船控制方法，或传统的基于模型强化学习算法的无人船控制方法来实现。

其中，传统的自主决策无人船控制方法主要依赖于根据船舶的先验知识进行建模，再根据模型设计控制器。然而，这种方法高度依赖于参数，缺乏应对复杂的海洋环境下多种任务的泛化能力。

而传统的基于无模型强化学习算法的无人船控制方法无法支持服从随机分布的状态，因此难以在复杂的海洋环境下的无人船艇上完成强化学习收敛，应对复杂的海洋环境下多种任务的控制能力差。传统的基于模型强化学习算法的无人船控制方法(以概率推断学习控制算法(probabilistic inference for learning control，PILCO为代表)能够通过挂载概率模型实现对环境不确定性的量化，但需要执行大量的计算操作，应对复杂的海洋环境下多种任务的实时性能和稳定性能差。

发明内容

本申请实施例提供了一种概率滤波强化学习无人船控制方法、装置及终端设备，可以解决传统无人船控制方法应对复杂海洋环境的泛化能力、控制能力及稳定性能差的问题。

第一方面，本申请实施例提供了一种概率滤波强化学习无人船控制方法，包括：

获取t时刻的所述无人船的第一状态数据、第一控制信号和t-1时刻的第二控制信号，所述第一控制信号用于控制所述无人船在所述t时刻的运动状态，所述第二控制信号用于控制所述无人船在所述t-1时刻的运动状态；

对所述第一状态数据、所述第一控制信号及所述第二控制信号进行偏差补偿处理，得到偏差补偿信号；

根据所述偏差补偿信号进行规划，得到目标控制信号；

根据所述目标控制信号控制所述无人船在t+1时刻的运动状态。

第二方面，本申请实施例提供了一种概率滤波强化学习无人船控制装置，包括：

数据通信模块，用于获取t时刻的所述无人船的第一状态数据、第一控制信号和t-1时刻的第二控制信号，所述第一控制信号用于控制所述无人船在所述t时刻的运动状态，所述第二控制信号用于控制所述无人船在所述t-1时刻的运动状态；

数据处理模块，用于对所述第一状态数据、所述第一控制信号及所述第二控制信号进行偏差补偿处理，得到偏差补偿信号；

信号预测模块，用于根据所述偏差补偿信号进行规划，得到目标控制信号；

控制模块，用于根据所述目标控制信号控制所述无人船在t+1时刻的运动状态。