[发明专利]二维状态时滞批处理过程的离轨策略最优跟踪控制方法

说明书

二维状态时滞批处理过程的离轨策略最优跟踪控制方法，属于工业过程控制技术领域，该方法突破了传统控制方法需要依赖于精确的系统模型的局限性，具体的步骤如下：步骤一：建立由状态误差和输出误差组成的增广状态空间方程；步骤二：在此增广系统的基础上，设计二维时滞增广状态空间模型的控制器；步骤三：设计二维时滞贝尔曼方程和控制器增益；步骤四：求解控制器增益；此方法能够有效地处理在具有状态时滞的注塑成型过程中存在建模困难和具有重复性等复杂特性的难题，通过基于数据的方式，很好地降低了系统依赖于模型这一难点，也降低了计算的成本。

技术领域

本发明属于工业过程控制技术领域，具体涉及二维状态时滞批处理过程的离轨策略最优跟踪控制方法。

背景技术

在传统的工业控制过程中从原料输入到产品输出是连续不间断的，这类工业过程被称为连续过程，但随着社会的不断发展，产品的种类越来越多，人们对于产品的质量要求也在不断提高，且现代工业控制过程通常需要大量且重复性的操作，为了迎合这些需求，具有高效率，多种类，小规模的多工序生产方式更加受到人们的青睐。这类过程主要是将原料按照加工顺序转化为产品，并通过重复操作获得产品，这类过程被称为批处理过程。批处理过程的控制在一些批量生产的领域如：服饰、化工、食品生产，设备零件生产，医药、冶炼等领域广泛应用。批次过程具有重复性，快速性，低成本的独特性质，同时也具有难以建立精确系统模型的难点，但是批次过程又在工业生产中占有很大的比重。因此，在工业生产中批量过程的控制也成为了控制领域里研究的热点之一。在批处理生产过程中，时滞是不可避免的，在存在时滞的情况下，系统随着时间的不断延迟会降低系统的响应速度，增加了控制器的设计难度，也使得系统的控制性能变得不稳定，控制效果出现偏差，很难得到最优的控制律。与此同时，由于典型的间歇过程具有重复性和模型复杂性的特点，这就导致难以对该过程进行精确的数学建模，而传统的控制方法通常是过度地依赖于模型。因此，在间歇过程中如何有效地不依赖于模型来处理时滞问题，一直是该领域的研究热点。

鉴于在注塑成型生产过程中模型往往比较难以获得同时会有大量的数据产生并进行存储，这些数据包含时间方向和批次方向上的数据。那么在没有精确的过程模型的情况下，如何有效地利用这些二维数据直接设计注塑成型生产过程的控制器是非常重要的，因此依赖于数据的方法在时滞批处理的问题中更加适用。强化学习由于具有仅仅依赖于数据而没有先验信息的情况下，可以对复杂系统进行优化控制的优势，自发展以来，强化学习在具有状态时滞系统的最优跟踪控制问题方面也有着一定的研究。但这些研究主要都是针对一维状态时滞系统，在具有二维特性的时滞间歇过程控制问题方面还尚未研究。为此，针对具有状态时滞的间歇过程，研究一种基于强化学习的控制方法，能使系统不依赖于模型，仅仅依靠时间方向和批次方向的数据不断学习得到最优的控制律是非常重要的。

发明内容

本发明是针对具有状态延迟的二维批次过程的最优跟踪控制问题，提出一种新的无模型二维离轨策略最优跟踪控制方法。该方法可以有效地解决系统无法精确建模的问题，降低系统对模型的依赖性，仅依靠数据来不断地进行学习，得到最优的控制律，并且可以很好地跟踪设定值，提高系统的控制性能和跟踪性能。该方法首先将具有未知动态的间歇过程表示为状态空间形式，并构造由状态增量和输出误差组成的增广系统。其次，在该增广系统的基础上，设计出包含时滞的二维最优性能指标函数、二维值函数和二维Q函数。然后，在行为策略的基础上引入目标策略，通过贝尔曼最优原理、动态规划、克罗内克积和最小二乘法的相关知识，利用批次方向和时间方向的数据，设计出基于二维强化学习的时滞批次过程最优跟踪控制方法。用注塑成型过程产生的二维数据进行多次学习后，可获得注塑成型过程的最优控制器增益，通过控制器增益可得到性能指标下的最优控制律，随后作用于执行器控制系统可使系统的输出逐渐跟踪上设定值。

本发明是通过以下技术方案实现的：