[发明专利]在线学习方法

权利要求书

1.一种在线学习方法，其特征在于，所述方法包括：

第一系统根据获取的场景状态信息，生成第一动作，并计算第一动作的第一评价指标；

第二系统根据获取的场景状态信息，生成第二动作，并计算第二动作的第二评价指标；

比较所述第一评价指标和所述第二评价指标，当所述第一评价指标大于所述第二评价指标时，将所述场景状态信息和所述第一动作作为第一缓存数据进行存储；当所述第一评价指标小于所述第二评价指标时，将所述场景状态信息和所述第一动作、以及所述第二动作作为第二缓存数据进行存储；所述第一缓存数据和所述第二缓存数据构成缓存数据；

当所述缓存数据的数据量大于预设阈值时，从所述缓存数据中获取采样数据；

判断所述采样数据的来源，当所述采样数据来源于第一缓存数据时，利用强化学习算法对所述第一系统进行训练；当所述采样数据来源于第二缓存数据时，利用监督式强化学习算法对所述第一系统进行训练。

2.根据权利要求1所述的在线学习方法，其特征在于，

利用公式计算第一动作的第一评价指标；其中，s为场景状态信息；g为第一动作；r_t为第t次迭代中，执行当前动作获得的奖励值大小，γ为折扣率。

3.根据权利要求1所述的在线学习方法，其特征在于，所述当所述采样数据来源于第一缓存数据时，利用强化学习算法对所述第一系统进行训练，包括：

当所述采样数据来源于第一缓存数据时，构建原始演员-评论家网络；其中，所述原始演员-评论家网络包括原始演员网络和原始评论家网络，所述原始演员网络的输入为场景状态信息s、原始演员网络的输出为第一动作a，原始评论家网络的输入为场景状态信息和第一动作(s,a)，原始评论家网络的输出为第一评价指标；

确定原始演员网络的损失函数梯度；

确定原始评论家网络的损失函数和梯度；

根据所述原始演员网络的损失函数梯度、所述原始评论家网络的损失函数和所述原始评论家网络的梯度，更新所述原始演员网络的网络参数和所述原始评论家网络的网络参数，生成目标演员-评论家网络。

4.根据权利要求3所述的在线学习方法，其特征在于，所述确定原始演员网络的损失函数梯度，包括：

利用公式确定原始演员网络的损失函数梯度；其中，原始评论家网络输出为Q(s,a)、原始评论家网络的网络参数为θ^Q，原始演员网络的输出为μ(s)，原始演员网络的网络参数为θ^μ；N为采样数据量大小。

5.根据权利要求3所述的在线学习方法，其特征在于，确定原始评论家网络的损失函数和梯度，包括：

利用公式计算原始评论家网络的损失函数；其中，原始评论家网络的输出为Q(s,a)，原始评论家网络的网络参数为θ^Q；原始演员网络第t+1时刻的输出为μ(S_t+1)；

利用贝尔曼方程训练所述原始评论家网络；

利用公式计算原始评论家网络的梯度；其中，i表示训练的回合数，δ_i被定义为时序差分误差，形式如下：

δ_i＝r_i+γQ'(s_i+1,μ'(s_i+1|θ^μ')|θ^Q')-Q(s_i,a_i|θ^Q)。

6.根据权利要求3-5任一项所述的在线学习方法，其特征在于，所述根据所述原始演员网络的损失函数梯度、所述原始评论家网络的损失函数和所述原始评论家网络的梯度，更新所述原始演员网络的网络参数和所述原始评论家网络的网络参数，生成目标演员-评论家网络，包括：

利用公式更新原始评论家网络的网络参数，其中，所述为目标评论家网络的网络参数；

利用公式更新原始演员网络的网络参数，其中，为目标演员网络的网络参数，为评论家网络的学习率。

7.根据权利要求1所述的在线学习方法，其特征在于，所述当所述采样数据来源于第二缓存数据时，利用监督式强化学习算法对所述第一系统进行训练包括：

利用公式|μ(s)-μ_E(s)|＜ε判断当前场景状态信息s对应的第二动作a与规范监督动作a_E的差距，μ表示当前演员网络输出策略、μ_E表示当前演员网络规则监督策略，ε为预设阈值；

利用公式计算当前评论家网络的损失函数；其中，θ^μ为当前演员网络的网络参数，θ^Q为当前评论家网络的网络参数；D^Rule为采集的第二缓存数据；(s_E,a_E)为第二缓存数据中的一组状态-动作对；N为处理运算中一批数据的数量；H(μ_E(s_E),μ(s_E))为关于动作误差的函数，定义为

其中，η为一个正常值，该动作误差的函数可以保证非规则监督动作产生的损失至少要比规则监督动作大一个边界值η；

利用合成损失函数J_com＝J_Q+λJ_sup对评论家网络进行更新，其中，λ是一个人为设置的量，用来调整当前评论家网络损失函数与下一评论家网络损失函数之间的权重比例；

利用公式δ^S＝H(a_E,μ(s_E|θ^μ))+Q(s_E,μ(s_E|θ^μ)|θ^Q)-Q(s_E,a_E|θ^Q)定义监督误差；

利用公式计算更新后评论家网络的网络参数；

利用公式计算更新后演员网络的网络参数；其中，为第i次更新中，评论家网络的网络参数，为第i+1次更新中，评论家网络的网络参数，为第i次更新中，评论家网络的网络参数，为评论家网络的学习率，为第i次更新中，演员网络的网络参数，为第i+1次更新中，演员网络的网络参数，为演员网络的学习率。