[发明专利]一种基于深度确定性策略梯度的自适应控制方法

权利要求书

1.一种基于深度确定性策略梯度的自适应控制方法，其特征在于：它包括以下步骤：

1)首先依据真实系统特性构建仿真训练环境，仿真训练环境与真实系统保持一致，使环境与强化学习训练进行交互；

2)分别构建状态，回报，动作和截止条件作为深度强化学习的训练要素，动作区间：a∈[A_min,A_max]，根据真实系统进行控制指令限幅；

3)构建critic网络、actor网络和相应的critic-target网络、actor-target网络，上述网络形成神经网络；

4)对critic网络和actor网络进行若干轮训练；本轮训练结束，开始下一轮训练；

5)使用训练结果actor网络作为控制器。

2.根据权利要求1所述的一种基于深度确定性策略梯度的自适应控制方法，其特征在于：所述状态，回报，动作和截止条件分别为状态state：以当前值truevalue，误差值error＝reference–truevalue和误差的积分∫edt作为状态量state；

回报：reward＝10(|e|＜0.1)-1(|e|≥0.1)-100(truevalue≤min||truevalue≥max)如果实际值小于最小值min或最大值max，则回报为-100；如果误差绝对值大于0.1，则回报值为-1；如果误差绝对值小于0.1，则回报值为+10；

截至条件：如果truevalue≤min||truevalue≥max，则本轮训练终止。

3.根据权利要求1所述的一种基于深度确定性策略梯度的自适应控制方法，其特征在于：对critic网络和actor网络进行训练的流程包括：

A)初始化actor网络和critic网络的神经网络参数θ^Q和θ^μ，并将参数拷贝至actor-target网络和critic-target网络；初始化经验池；

接下来开始进行M轮训练：

B)actor根据actor网络选择一个action，并传递到环境中，a_t＝μ(s_t|θ^μ)+OU_t，其中OU_t表示噪声生成的随机过程；

C)环境执行action后返回回报reward和新的状态state(t+1)；

D)将(s_t,a_t,r_t,s_t+1)存入经验池，随机采样N个数据作为网络训练的mini-batch；

E)计算神经网络的loss，依据公式：

y_i＝r_i+γQ′(s_i+1,μ′(s_i+1,|θ^μ′)|θ^Q′)

F)采用Adam optimizer更新θ^Q；

G)计算actor网络的策略梯度：

H)采用Adam optimizer更新θ^μ；

I)采用soft update方式更新actor-target网络和critic-target网络：