[发明专利]基于Q-learning的船舶PID控制参数整定方法、系统及存储介质

说明书

本发明公开了一种基于Q‑learning的船舶PID控制参数整定方法、系统及存储介质。所述方法包括以下步骤：确定船舶状态；确定PID控制参数的动作；根据所述船舶状态和所述PID控制参数的动作采用Q‑learning算法对船舶PID控制参数进行整定。本发明中的方法通过船舶状态、PID控制参数的动作以及Q‑learning算法，来精确调整PID控制参数，提高船舶控制精度，避免依靠工程经验进行人工试凑控制参数的繁琐重复的操作，进而避免人工试凑参数过程导致的船舶控制系统不稳定的情况发生。本发明可广泛应用于船舶控制技术领域内。

技术领域

本发明涉及船舶控制技术领域，尤其是一种基于Q-learning的船舶PID控制参数整定方法、系统及存储介质。

背景技术

PID(Proportion Integration Differentiation，比例-积分-微分)控制是控制领域最为广泛使用的一种控制方式，传统的PID控制是基于输出误差的反馈机制，主要是指PID调节器，其具体形式可表述如下：

其中，K_p为比例增益，K_i为积分增益，K_d为微分增益，PID控制虽然具有结构简单、容易实现的特点，但要想利用PID控制系统来控制船舶的航向，往往需要人工对K_p、K_i和K_d这三个参数进行繁琐地整定调节，而调节整定工作通常是依靠工程经验，对人为经验的依赖性较大，并且在人工调节整定参数的过程中，随机性较大，人工调节整定参数会大概率导致船舶控制系统无法稳定运行。

发明内容

本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。

为此，本发明实施例的一个目的在于提供一种基于Q-learning的船舶PID控制参数整定方法，该方法能够基于Q-learning的船舶PID控制参数整定。

本发明实施例的另一个目的在于提供一种基于Q-learning的船舶PID控制参数整定系统以及计算机可读的存储介质。

为了达到上述技术目的，本发明实施例所采取的技术方案包括：

第一方面，本发明实施例提供了一种基于Q-learning的船舶PID控制参数整定方法，包括以下步骤：

确定船舶状态；

确定PID控制参数的动作；

根据所述船舶状态和所述PID控制参数的动作，采用Q-learning算法对船舶PID控制参数进行整定。

进一步，所述确定船舶状态这一步骤，包括以下步骤：

构建船舶航向空间状态模型；

根据所述船舶航向空间状态模型确定航行误差数据；

根据所述航行误差数据构建船舶状态表，所述船舶状态表包括若干个船舶状态。

进一步，所述PID控制参数包括比例增益、积分增益和微分增益，所述确定PID控制参数的动作这一步骤，包括以下步骤：

确定所述比例增益的步长和起始值，确定第一维参数；

确定所述积分增益的步长和起始值，确定第二维参数；

确定所述微分增益的步长和起始值，确定第三维参数；

根据所述第一维参数、所述第二维参数和所述第三维参数构建PID控制参数动作表，所述PID控制参数表包括若干个PID控制参数的动作。

进一步，所述根据所述船舶状态和所述PID控制参数的动作采用Q-learning算法对船舶PID控制参数进行整定这一步骤，包括以下步骤：