[发明专利]一种工业系统无模型自适应控制方法及系统

说明书

本发明涉及一种工业系统无模型自适应控制方法及系统。该方法包括：获取工业过程中各种设备的历史监测数据；利用所述可控制类数据生成控制指令集合；所述控制指令集合包括多条下一时刻生成的控制指令；根据所述历史监测数据构建预测仿真模型；基于所述控制指令集合，根据所述预测仿真模型训练基于强化学习的控制模型，生成训练后的基于强化学习的控制模型；获取当前监测数据；将所述当前监测数据输入至所述训练后的基于强化学习的控制模型中，自适应控制工业系统的生产过程，输出所述工业系统的最优设定目标。本发明能够大大降低试错成本，得到更有效的智能控制策略。

技术领域

本发明涉及工业智能控制、强化学习控制领域，特别是涉及一种工业系统无模型自适应控制方法及系统。

背景技术

近几年来，现代科学技术的快速发展推动着工业领域的发展，工业领域的信息化、自动化、智能化发展日渐成熟。而随着工业生产规模的日益扩大，在复杂工业场景下实现无人智能化控制，如何进一步降低人力成本和操作人员的技能培训成本，如何脱离人为经验干预，实现更加精准、可靠的智能控制策略，已成为亟需解决的关键问题。传统的智能化控制技术只适用于简单的工业环境，在实际的工业生产中，复杂的工业环境中存在大量用于监测数据的传感器，传统的智能化控制技术无法很好地利用监测数据的潜在特性，而基于机器学习的控制方法能够学习到监测数据的变化规律，具有一定的学习能力与泛化能力，可以从监测数据中挖掘出生产环境的客观规律，归纳出人类专家无法发现的经验与知识。

在基于机器学习的控制中，一种典型的方法是采用以强化学习(ReinforcementLearning，RL)算法作为基础的控制律学习方法。强化学习可以从数据中学习复杂工业环境中的监测值迁移规律，不需要领域专家进行控制规则的设计，适用于复杂工业场景。并且在强化学习基础上进行增量学习，使控制模型具有自适应能力，在实际应用过程中，更加贴近工业实际生产情况。强化学习在电网紧急控制策略研究[刘威，张东霞，王新迎，侯金秀，刘丽平.基于深度强化学习的电网紧急控制策略研究[J].中国电机工程学报，2018，38(01):109-119+347.]、飞行器高度控制[苏立军，朱红娟，齐晓慧，董海瑞.基于强化学习的四旋翼高度控制器设计[J].测控技术，2016，35(10):51-53+58.]、风力发电变桨距控制等各种工业领域有着广泛的应用。现有的实际工业生产控制中，需要在工业环境中进行控制策略的训练和测试以获得性能更好的自适应模型，试错成本以及研发成本过高。

发明内容

本发明的目的是提供一种工业系统无模型自适应控制方法及系统，以解决试错成本以及研发成本过高的问题。

为实现上述目的，本发明提供了如下方案：

一种工业系统无模型自适应控制方法，包括：

获取工业过程中各种设备的历史监测数据；所述历史监测数据包括可控制类数据、状态类数据、环境噪声类数据以及目标输出类数据；所述可控制类数据包括流量阀开度、开度阀开度、变频器转速以及泵机转速；所述状态类数据包括工业生产中的管道压力；所述环境噪声类数据包括上一工序的产品信息、温度以及湿度；所述目标输出类数据包括生产过程中控制的对象；

利用所述可控制类数据生成控制指令集合；所述控制指令集合包括多条下一时刻生成的控制指令；

根据所述历史监测数据构建预测仿真模型；

基于所述控制指令集合，根据所述预测仿真模型训练基于强化学习的控制模型，生成训练后的基于强化学习的控制模型；

获取当前监测数据；

将所述当前监测数据输入至所述训练后的基于强化学习的控制模型中，自适应控制工业系统的生产过程，输出所述工业系统的最优设定目标。

可选的，所述利用所述可控制类数据生成控制指令集合，具体包括：