[发明专利]策略网络训练方法、装置、设备及可读存储介质

说明书

本发明提供一种策略网络训练方法、装置、设备及可读存储介质。该方法包括：将N个高带宽数据输入M个智能体，得到每个智能体基于输入的高带宽数据生成的选择动作，以及选择动作对应的奖励值，并构建i个样本，根据每个样本的奖励值，将样本放入优化经验池或常规验池；以预设采样机制从优化经验池以及常规验池中获取样本，作为训练样本，通过训练样本对策略网络和价值网络进行更新；重复执行上述步骤，直至策略网络和价值网络收敛。通过本发明，智能体不断与环境进行交互，利用环境反馈给其的奖励值来决定智能体的下一个动作。因此，所需要的先验知识更少，能够在未知的环境中进行学习，得到较优的策略网络。

技术领域

本发明涉及通信技术领域，尤其涉及一种策略网络训练方法、装置、设备及可读存储介质。

背景技术

全方位的生态要素观测系统属于异构网络，可以包括卫星网络、蜂窝移动网络、空中网络、无线Mesh网络、陆上数据中心等等，所承载的业务类型复杂，数据种类多样。虽然传感器与物联网的相关技术已被广泛应用于生态和环境监测领域，但在典型脆弱生态环境中，其所监测到的数据往往是矢量数据，维度高、数据量大，例如高光谱数据、通量数据、连续视频数据等等，这些数据往往会占用大量的网络带宽。而近年来随着卫星网络、空中网络、无线Mesh网络的快速发展，为生态网络的观测传输提供了多种渠道，高带宽的监测数据可以基于相应的目标选择不同的接入网络进行传输。因此，选择合适的接入网络传输所监测到的数据是很有必要的。

生态观测网络中的传统算法或者需要事先分析网络中的流量特征，或者需要大量的人工先验性经验进行路由计算，难以动态地适应数据的波动性，导致策略缺乏灵活性，无法对其进行精确的分析与建模。近年来，随着机器学习相关研究与算法的发展，人工智能方法在解决复杂网络的建模问题中发挥出了巨大的优势，通过对大量数据的训练与分析，最终可以得到最优的映射模型。但是基于监督学习的机器学习方法存在以下劣势：一方面，得出进行学习的训练集与测试集需要很大的开销；另一方面，当网络的状态变化时，需要对模型重新进行训练，以防止原模型无法得到较好的效果。

发明内容

为解决上述技术问题，本发明提供一种策略网络训练方法、装置、设备及可读存储介质。

第一方面，本发明提供一种策略网络训练方法，所述策略网络训练方法包括：

将N个高带宽数据输入M个智能体，得到每个智能体基于输入的D_i生成的选择动作a_j，以及选择动作a_j对应的奖励值r_j，以(D_i，a₁,...,a_M，r₁,...,r_M，D′)作为一个样本，得到i个样本，其中，D_i为第i个高带宽数据，D′为第i+1个高带宽数据；

根据每个样本中的r₁至r_M，得到每个样本的奖励值；

将奖励值大于阈值的样本放入优化经验池，将奖励值不大于阈值的样本放入常规验池；

以预设采样机制从优化经验池以及常规验池中获取样本，作为训练样本，通过训练样本对策略网络和价值网络进行更新；

返回执行所述将N个高带宽数据输入M个智能体的步骤，直至策略网络和价值网络收敛。

可选的，所述以预设采样机制从优化经验池以及常规验池中获取样本的步骤包括：

根据权重ω确定第一数量以及第二数量，从优化经验池中获取第一数量个样本，从常规验池中获取第二数量个样本，其中：