[发明专利]优化经验回放采样策略的强化学习方法

权利要求书

1.一种优化经验回放采样策略的强化学习方法，其特征在于，包括：

步骤1、在每个时刻，智能体和环境交互得到经验，并将经验存储在经验回放池中；

步骤2、在更新当前训练策略时，从经验回放池中等概率随机采样λ·B个经验样本；其中，B为设定的数值，λ≥1控制着优先化采样的程度；

步骤3、逐一比较经验样本中包含的状态与当前训练策略对应状态之间的相似性，从而选出相似性最大的前B个经验样本；

步骤4、使用选出的B个经验样本对当前训练策略进行训练；

步骤5、本次训练结束后，判断训练步数是否达到最大值，若否，则返回步骤2。

2.根据权利要求1所述的一种优化经验回放的强化学习方法，其特征在于，时刻t的经验e_t＝(s_t,a_t,r_t,s_t+1)，其中，s_t、s_t+1分别表示时刻t、t+1的状态，a_t表示时刻t的动作，r_t表示时刻t的回报，一个时刻对应一个训练步。

3.根据权利要求1所述的一种优化经验回放采样策略的强化学习方法，其特征在于，相似性比较时根据状态的维度来选择对应方法：

如果状态维度低于设定值，则使用余弦相似性算法；

如果状态维度高于设定值，则先随机生成一个编码矩阵，编码矩阵在训练过程中固定，将状态通过该编码矩阵进行编码，以降低维度并获得对应的特征向量，在比较特征向量之间的相似性。

4.根据权利要求1所述的一种优化经验回放采样策略的强化学习方法，其特征在于，对λ进行退火处理

在α·T内，λ从设定的初始值线性退火到1，以使得当训练结束时，采样为均匀采样；其中，α为设定的系数，T为训练最大步数。