[发明专利]控制策略的确定方法及装置、存储介质及电子设备

说明书

本发明提供一种控制策略的确定方法及装置、存储介质及电子设备，该方法包括，获取多组系统数据，确定第一神经网络和第二神经网络，及第一神经网络对应的第一权重更新策略，和第二神经网络对应的第二权重更新策略。通过各组系统数据、第一权重更新策略及第二权重更新策略，分别对第一神经网络及第二神经网络进行训练，使得训练后的第一神经网络符合预设的第一收敛条件，且训练后的第二神经网络符合预设的第二收敛条件；以训练后的第一神经网络和训练后的第二神经网络，配置控制器，以使控制器在被控系统运行过程中，根据被控系统的实时系统状态，向被控系统输入控制信号。应用本发明的方法，无需求解复杂的贝尔曼方程，可便捷地确定控制策略。

技术领域

本发明涉及控制技术领域，特别是涉及一种控制策略的确定方法及装置、存储介质及电子设备。

背景技术

随着控制技术的发展，在各个领域的工程应用中，常常需配置控制器对被控系统实行控制，使其趋于某种目标的稳定状态。而控制器通常是基于以策略函数为表达形式的控制策略进行设计的。

在确定控制策略的过程中，通常会寻求最优控制，也就是在给定的约束条件下，寻求一个控制，使给定的系统性能指标达到极大值或极小值。故目前确定控制策略的方式，一般是通过动态规划实现的，也就是构建哈密顿-雅克比-贝尔曼(Hamilton-Jacobi-Bellman，HJB)方程，简称贝尔曼方程，以该方程的解确定控制策略，以配置控制器。

在实际的工程应用中，被控系统通常是需考虑多个优化目标的非线性系统，系统中存在相互博弈的输入信号，如控制器的控制输入以及系统的干扰输入。对于上述系统，若是通过现有方式确定控制策略，会得到十分复杂的贝尔曼方程，难以求解。故在此情况下，通常难以确定所需的控制策略。

发明内容

有鉴于此，本发明实施例提供了一种控制策略的确定方法，以解决难以确定控制策略的问题。

本发明实施例还提供了一种控制策略的确定装置，用以保证上述方法实际中的实现及应用。

为实现上述目的，本发明实施例提供如下技术方案：

一种控制策略的确定方法，包括：

获取预先采集的多组系统数据，每组所述系统数据包括被控系统在输入激励信号的情况下，在预定信号采集时间点上所采集的所述激励信号的当前信号值，和所述被控系统的当前系统状态；

确定预构建的第一神经网络和第二神经网络；

确定所述第一神经网络对应的第一权重更新策略，和所述第二神经网络对应的第二权重更新策略，所述第一权重更新策略和所述第二权重更新策略，为基于离策略的强化学习算法和值函数逼近算法所得到的更新策略；

通过各组所述系统数据、所述第一权重更新策略及所述第二权重更新策略，分别对所述第一神经网络及所述第二神经网络进行训练，使得训练后的第一神经网络符合预设的第一收敛条件，且训练后的第二神经网络符合预设的第二收敛条件；

以所述训练后的第一神经网络和所述训练后的第二神经网络，配置控制器，以使已配置的控制器在所述被控系统运行过程中，根据所述被控系统的实时系统状态，向所述被控系统输入控制信号。

上述的方法，可选的，所述通过各组所述系统数据、所述第一权重更新策略及所述第二权重更新策略，分别对所述第一神经网络及所述第二神经网络进行训练，包括：

按照预设的训练周期，分别对所述第一神经网络的权重和所述第二神经网络的权重进行更新，在进入当前的训练周期时，基于当前的第一神经网络、各组所述系统数据和所述第二权重更新策略，对当前的第二神经网络的权重进行迭代更新，使得迭代更新后的第二神经网络符合所述第二收敛条件；

基于更新后的第二神经网络、各组所述系统数据和所述第一权重更新策略，更新当前的第一神经网络的权重，并判断更新后的第一神经网络是否符合所述第一收敛条件；