[发明专利]一种基于强化学习的换热过程重要参数控制方法

说明书

本发明公开了一种基于强化学习的换热过程重要参数控制方法，包括步骤：第一步，使用强化学习的算法框架，将换热过程参数的控制器作为强化学习的智能体，智能体输出的动作即控制变量；第二步，以换热器边界条件控制信号或者直接影响换热器边界条件的执行器控制信号作为智能体输出的动作，以换热过程的重要状态参数作为智能体的观察量，以越接近控制目标即时奖励越大构建奖励函数，通过强化学习算法的不断训练，使得智能体的输出动作朝着奖励函数最大的方向收敛，最终得到一个能够精确控制换热过程重要状态参数变化的智能体。本发明能够对换热器在换热过程中的重要参数进行精确可靠控制，提高在剧烈频繁波动的边界条件下的换热过程参数控制精度。

技术领域

本发明涉及能源利用技术领域，特别是涉及一种基于强化学习的换热过程重要参数控制方法。

背景技术

目前，换热过程广泛存在于能源、化工、动力等工业中，是工业生产中一个十分重要的环节。

换热过程对整个系统的稳态和动态性能，都有至关重要的影响作用，因此，为保证系统安全和高效地运行，需要对换热器内的某些重要参数，如流体的温度和压力进行有效的控制。然而，由于实际换热过程中的边界条件经常发生变化，特别是一些剧烈频繁的变化，例如用于回收车用内燃机烟气余热的换热器就存在烟气波动频繁剧烈的情况，这就给参数的控制带来了很大的挑战。

传统的PID控制(即比例积分微分控制)在面对这种剧烈波动的边界条件时，往往不能表现出令人满意的控制效果，存在控制精度较差的问题。

因此，目前急需开发一种技术，能够对换热器在换热过程中的重要参数进行精确可靠的控制，提高在剧烈频繁波动的边界条件下的换热过程参数控制精度。

发明内容

本发明的目的是针对现有技术存在的技术缺陷，提供一种基于强化学习的换热过程重要参数控制方法。

为此，本发明提供了一种基于强化学习的换热过程重要参数控制方法，包括以下步骤：

第一步，使用强化学习的算法框架，将换热过程参数的控制器作为强化学习的智能体，智能体输出的动作即控制变量；

第二步，以换热器边界条件控制信号或者直接影响换热器边界条件的执行器控制信号作为智能体输出的动作，以换热过程的重要状态参数作为智能体的观察量，以越接近控制目标即时奖励越大构建奖励函数，通过强化学习算法的不断训练，使得智能体的输出动作朝着奖励函数最大的方向收敛，最终得到一个能够精确控制换热过程重要状态参数变化的智能体。

优选地，在第二步中，当换热器是蒸发器时，智能体输出的动作如果采用蒸发器的边界条件控制信号，则为蒸发器冷流体的入口流量；如果采用直接影响边界条件的执行器控制信号，则为泵的转速信号。

优选地，在第二步中，换热过程的重要状态参数，作为智能体的观察量，具体包括冷流体和热流体的温度和压力，以及冷流体和热流体的温度和压力的变化率，以及冷流体和热流体的流量以及被控的换热过程的重要状态参数的控制误差。

优选地，在第二步中，控制目标，具体为：换热过程的重要状态参数的目标值；

当换热器是蒸发器时，则是蒸发器冷流体出口的过热度目标值。

优选地，在第二步中，预先构建的奖励函数，是由被控换热器参数的实际值和控制参考值之间直接相减获得的误差所构成的函数；

误差越小，奖励函数的值越大；

被控换热器参数，即是所述换热过程的重要状态参数。

优选地，当被控的换热过程的重要状态参数是蒸发器出口工质过热度时，预先构建的奖励函数如下所述：

在公式(1)中，e代表过热度和目标值的误差，a代表动作，sup代表过热度，下标t代表时间。