[发明专利]策略网络训练方法、装置、设备及可读存储介质

权利要求书

1.一种策略网络训练方法，其特征在于，所述策略网络训练方法包括：

将N个高带宽数据输入M个智能体，得到每个智能体基于输入的D_i生成的选择动作a_j，以及选择动作a_j对应的奖励值r_j，以(D_i，a₁,...,a_M，r₁,...,r_M，D')作为一个样本，得到i个样本，其中，D_i为第i个高带宽数据，D'为第i+1个高带宽数据；

根据每个样本中的r₁至r_M，得到每个样本的奖励值；

将奖励值大于阈值的样本放入优化经验池，将奖励值不大于阈值的样本放入常规验池；

以预设采样机制从优化经验池以及常规验池中获取样本，作为训练样本，通过训练样本对策略网络和价值网络进行更新，其中，策略网络和价值网络中都有当前网络和目标网络；

所述以预设采样机制从优化经验池以及常规验池中获取样本的步骤包括：

根据权重ω确定第一数量以及第二数量，从优化经验池中获取第一数量个样本，从常规验池中获取第二数量个样本，其中：

n_ot为当前网络与目标网络输出的动作相同时的样本数量，N_batch为每一次从优化经验池以及常规验池中获取的总样本数量，ω_max为权重ω的上界，ω_max∈[0,1]，(1-ω)N_batch为第一数量，ωN_batch为第二数量；

返回执行所述将N个高带宽数据输入M个智能体的步骤，直至策略网络和价值网络收敛。

2.如权利要求1所述的策略网络训练方法，其特征在于，所述以预设采样机制从优化经验池以及常规验池中获取样本的步骤包括：

根据权重ω确定第一数量以及第二数量，从优化经验池中获取第一数量个样本，从常规验池中获取第二数量个样本，其中：

n_ot为当前网络与目标网络输出的动作相同时的样本数量，N_batch为每一次从优化经验池以及常规验池中获取的总样本数量，ω_max为权重ω的上界，ω_max∈[0,1]，ε为探索因子，(1-ω)N_batch为第一数量，ωN_batch为第二数量。

3.如权利要求2所述的策略网络训练方法，其特征在于，所述以预设采样机制从优化经验池以及常规验池中获取样本的步骤包括：

基于各个样本的重要因子δ_i从优化经验池以及常规验池中获取样本，其中：

r_i为样本的奖励值，N_i为样本被采样过的次数，T为样本在训练回合中所处于的时间步。

4.如权利要求1所述的策略网络训练方法，其特征在于，所述通过训练样本对策略网络和价值网络进行更新的步骤包括：

通过训练样本，最小化目标网络与当前网络的Loss值更新价值网络；

通过训练样本经过价值网络后得到的Q值，评价策略网络的优劣，并通过梯度下降调整策略网络的参数，使得训练样本经过价值网络后得到更大的Q值。

5.如权利要求4所述的策略网络训练方法，其特征在于，所述策略网络训练方法还包括：

以软更新策略更新策略网络与价值网络中目标网络的参数。

6.如权利要求1至5中任一项所述的策略网络训练方法，其特征在于，所述策略网络训练方法还包括：

每通过训练样本对策略网络和价值网络进行一次更新，则循环次数累加1次，当循环次数达到预设次数时，确定策略网络和价值网络收敛。