[发明专利]一种基于深度强化学习算法的离心压缩机调控方法

说明书

一种基于深度强化学习算法的离心压缩机调控方法，针对离心压缩机多目标、多参数的控制优化问题，首先针对入口阀门开度，设计控制器；然后设置A3C算法并行计算worker数量，设置更新间隔，根据缩短调节时间、减小超调量的控制需求建立评价指标，利用评价指标设计A3C算法奖励函数，并根据控制补偿环节确定A3C算法动作参数，确定算法迭代终止条件；运行A3C算法，确定最优补偿参数；本发明提高系统运行效率，同时保证系统压比，优化系统安全性。

技术领域

本发明属于离心压缩机调控技术领域，具体涉及一种基于深度强化学习算法的离心压缩机调控方法。

背景技术

压缩机作为大型工业级系统的代表，是各种大型化工厂、炼油厂等化学工业的关键设备，在国民经济尤其是整个重工业体系中占有十分重要的地位。随着流体机械与控制理论的不断深入发展，压缩机产业迅猛发展，广泛应用于航空航天、大型化工业等各个行业。在这一过程中，由于高功率密度、高效率等优点，离心压缩机得到了广泛的应用。由于控制参数的强耦合特性，离心压缩机运行性能极易受到外部环境的干扰，导致工作点漂移，甚至产生喘振现象，对离心压缩机的高效、安全运行提出了极大的挑战。因此，通过有效的调控，提高离心压缩机工作效率，扩大其运行范围，成为保障运行安全性与可靠性亟待解决的问题。

作为一种复杂的工业系统，离心压缩机具有强耦合、强非线性、大滞后的特点。随着制造技术的不断发展，离心压缩机结构愈发复杂，控制参数之间的耦合关系日趋复杂，通过简单的数学公式难以进行描述，对其进行调控涉及整机效率、防喘振等多个目标。因此，离心压缩机控制参数优化不再是简单的寻优问题，已逐渐发展成大规模、多目标、多极值、多参数的搜索问题，成为离心压缩机节能增效与安全运行相关研究的重点和难点。

深度强化学习是一种启发式、自适应的新兴机器学习方法，它的思想源于动物从不断的尝试中获得的奖励或惩罚，并学会在特定情境下选择最优的行为的学习过程。深度强化学习在策略寻优方面体现出了非凡的性能，现阶段已经应用于开发新型控制器与机器人控制等领域。异步优势演员-评论家算法(Asynchronous Advantage Actor-criticAlgorithm，以下简称为A3C)，是深度强化学习领域新一代算法，该算法起源于Actor-Critic算法，由执行者网络和评价网络两个网络组成，通过两个网络的结合实现动作选择与价值判断。A3C算法创建多个并行本地网络，并与全局网络进行信息交互实现并行化网络参数更新，具有收敛速度快，全局寻优能力强的特点。由于其强大的策略寻优能力，A3C算法现阶段被广泛应用于自动驾驶、机器人等行业，并取得了良好的效果。

鉴于A3C算法在工业控制与其他相关领域的成功应用，A3C深度强化学习算法成为实现压缩机调控智能化的一种可行方案，目前还没有相关文献公开。

发明内容

为了克服上述现有技术缺点，本发明目的在于提供一种基于深度强化学习算法的离心压缩机调控方法，针对离心压缩机工作点优化问题，通过A3C学习算法得到最优化控制参数，提高系统运行效率，同时保证系统压比，优化系统安全性。

为实现上述目的，本发明采取的技术解决方案是：

一种基于深度强化学习算法的离心压缩机调控方法，针对离心压缩机多目标、多参数的控制优化问题，首先针对入口阀门开度，设计控制器；然后设置A3C算法并行计算worker数量，设置更新间隔，根据缩短调节时间、减小超调量的控制需求建立评价指标，利用评价指标设计A3C算法奖励函数，并根据控制补偿环节确定A3C算法动作参数，确定算法迭代终止条件；运行A3C算法，确定最优补偿参数。

一种基于深度强化学习算法的离心压缩机调控方法，包括以下步骤：

步骤1)通过Simulink仿真模型对离心压缩机系统进行建模，Simulink仿真模型包括气腔质量守恒子系统、压缩机动量守恒子系统、节流阀动力学特性子系统、近似的稳态压气机特性子系统四个子系统，以及检测环节，其中检测环节包括质量流量及进出口压力信号的检测；