[发明专利]基于协状态辅助的自适应动态规划最优控制方法及系统

权利要求书

1.一种基于协状态辅助的自适应动态规划最优控制方法，其特征在于：包括如下步骤：

步骤1，构建自主式水下机器人深度控制中的状态变量、控制变量、转移环境、效用函数和代价函数，状态变量的选取用于描述自主式水下机器人在深度控制问题中的状态信息，控制变量为自主式水下机器人执行机构产生的力和力矩，转移环境的作用是使得自主式水下机器人在当前时刻状态与控制变量的作用下，转移得到下一时刻的状态量，效用函数是为了评价自主式水下机器人在当前时刻状态下采取的控制动作的优劣，代价函数是效用函数沿着状态轨迹的累计，在自主式水下机器人深度控制问题中，目标是使得自主式水下机器人在达到目标深度时所需的代价函数最小；

步骤2，构建基于协状态辅助的自适应动态规划的执行网络、协状态网络和评价网络，用于策略提升和策略评估；

步骤3，基于协状态辅助的自适应动态规划的策略评估过程；

步骤4，基于协状态辅助的自适应动态规划的策略提升过程；

步骤5，重复步骤3～4直至循环迭代次数i大于规定次数或相邻两次外循环之后的代价函数差值|J_i+1(x_t，u_t，Λ_t)-J_i(x_t，u_t，Λ_t)|小于设定值，迭代循环过程终止；所述步骤2中的执行网络的输入为t时刻下的状态变量x(t)，输出为与状态变量x(t)对应的控制变量u(t)；协状态网络的输入为状态变量x(t)和执行网络的输出u(t)，输出为与状态变量x(t)对应的协状态评价网络的输入为状态变量x(t)、执行网络的输出u(t)和协状态Λ(t)，输出为t时刻下状态行为对x(t)，u(t)对应的代价函数J(x_t，u_t，Λ_t)的近似值；所述步骤3中需要对代价函数J(x_t，u_t，Λ_t)和协状态Λ(x_t，u_t)进行估计，具体的估计步骤如下：

步骤31，固定一个给定的控制律u(x_t)，使用协状态网络的输出Λ(x，u)和转移模型f(·)，依据式子进行协状态函数更新；

步骤32，使用评价网络的输出J(x，u，Λ)和转移模型f(·)，依据式子进行代价函数更新，其中，第i次循环迭代时，实际会进行多次协状态函数Λ(x_t，u_t)与代价函数J(x_t，u_t，Λ_t)相互迭代过程，即每次外循环i会包括多次内循环j；

步骤33，最终将协状态与代价函数共同收敛；所述步骤4中策略提升过程具体为使用评价网络的输出J(x，u，Λ)和转移模型f(·)，依据式子进行策略提升，策略提升目标为使得J(x_t，u_t，Λ_t)值更小。

2.根据权利要求1所述的基于协状态辅助的自适应动态规划最优控制方法，其特征在于：所述步骤3中的协状态估计为

其中i为外循环迭代次数；x_t表示t时刻状态量；u_t表示t时刻控制量；γ为折扣因子；U(x_t，u_i(x_t))为t时刻关于x_t与u_t的效用函数；Λ_i，j(x_t，u_t)为第i次外循环第j次迭代时协状态函数的近似值。

3.根据权利要求2所述的基于协状态辅助的自适应动态规划最优控制方法，其特征在于：所述步骤3中的代价函数估计为

其中，J_i，j(x_t，u_t，Λ_t)为第i次外循环第j次迭代时代价函数的近似值，在评估代价函数时，增加协状态量作为评估代价函数J(x，u，Λ)的辅助变量，会较于传统只有x_t和u_t作为输入的策略评估更为准确。