[发明专利]基于深度强化学习的无线通信网络管控方法及相关设备

说明书

本申请提供一种基于深度强化学习的无线通信网络管控方法及相关设备，该方法可以应用于包括智能化网元的无线通信网络管控，其中，该智能化网元可以包括状态‑动作‑奖励的强化学习架构，该方法能够根据不同控制器中的不同经验数据集将状态采集器获取的状态数据转化为增强状态数据，实现了延迟马尔可夫过程到标准马尔可夫过程的转化，避免了通信网络中状态和动作的时延对多个控制器中数据优化过程的影响，提高了控制器的优化效率。

技术领域

本申请涉及数据管理技术领域，尤其涉及一种基于深度强化学习的无线通信网络管控方法及相关设备。

背景技术

5G(5th Generation Mobile Communication Technology，第五代移动通信技术)的发展使得一切设备拥有了接入无线通信网络的可能，但庞大的接入终端数量使得无线通信网络规模越来越大，通过深度强化学习算法对无线通信网络进行自动化管控可以帮助运营商降低无线通信网络运营成本，提高收益。

在3GPP(3rd Generation Partnership Project，第三代合作伙伴计划)标准化中，5G引入了智能化网元NWDAF(Network Data Analytics Function，网络数据分析功能)，通过智能数据采集、分布式智能，机器学习，强化学习，知识图谱等技术来进行网络故障定位，无线通信资源/计算资源管理，从而提升服务质量，改进客户体验。但是，无线通信网络中存在的通信时延会影响NWDAF 中的深度强化学习算法对无线通信网络状态的感知能力，进而导致NWDAF的深度强化学习算法性能退化。

发明内容

有鉴于此，本申请的目的在于提出一种基于深度强化学习的无线通信网络管控方法及相关设备，用以解决或部分解决上述技术问题。

基于上述目的，本申请提供了一种基于深度强化学习的无线通信网络管控方法，所述方法应用于通信网络控制系统，所述系统包括多个控制器、多个状态采集器和多个动作执行器，所述多个控制器之间相互连接，所述控制器分别与所述状态采集器和所述动作执行器连接；所述方法包括：

所述状态采集器获取通信网络的状态数据和所述状态数据对应的获取时间戳，并将所述状态数据发送到所述控制器；

所述控制器获取当前时间戳，并根据预先存储的经验数据集对所述状态数据进行动作增强，得到所述当前时间戳对应的增强状态数据，其中，所述当前时间戳和所述获取时间戳之间为随机时延；

所述控制器根据所述状态数据中的状态个数确定所述增强状态数据对应的奖励值；

所述控制器利用预先训练好的时序关联模型对所述增强状态数据进行关联提取，得到关联表示；

所述控制器采用预先训练好的预测模型根据所述经验数据集进行时间戳预测，得到预测动作时延数据并根据所述时间循环神经网络中的损失函数确定所述预测时延数据对应的损失函数值，其中，所述多个控制器中的经验数据集之间相互同步；

所述控制器控制预先训练好的智能体模型根据所述增强状态数据、所述奖励值、所述关联表示和所述损失函数值通过联合优化得到动作执行数据，并将所述动作执行数据发送到所述动作执行器；

所述动作执行器根据所述动作执行数据控制所述通信网络。

本申请的第二方面提供一种基于深度强化学习的无线通信网络管控装置，包括：

获取模块，被配置为所述状态采集器获取通信网络的状态数据和所述状态数据对应的获取时间戳，并将所述状态数据发送到所述控制器；

增强模块，被配置为所述控制器获取当前时间戳，并根据预先存储的经验数据集对所述状态数据进行动作增强，得到所述当前时间戳对应的增强状态数据，其中，所述当前时间戳和所述获取时间戳之间为随机时延；