[发明专利]一种基于深度强化学习的物联网频谱分配优化方法及系统

说明书

本发明属于工业物联网频谱管理技术领域，具体涉及一种基于深度强化学习的物联网频谱分配优化方法及系统。考虑到全局信道信息未知的情况下，提出一种基于多智能体深度强化学习的工业物联网频谱分配优化方法。首先，构造多个设备对设备通信链路的系统模型。其次，构建优化问题，结合频谱子带和传输功率等约束条件以优化物联网网络综合效率。接着，将优化问题描述为马尔可夫决策过程。最后，针对上述优化问题具有较大的状态空间和动作空间，提出了多智能体深度Q网络算法。借助于经验回放机制和目标网络策略，以实现最优的频谱子带选择和传输功率分配策略。

技术领域

本发明属于工业物联网频谱资源管理技术领域，具体涉及一种基于深度强化学习的物联网频谱分配优化方法及系统。

背景技术

随着信息时代的快速发展，工业物联网得到了蓬勃的发展。然而，随着工业物联网中无线设备的增加，加剧了对有限频谱资源和设备通信需求之间的矛盾。为了缓解这一现象，许多研究人员都提出了优化方法来应对。但是，在实际情况中，需要获取全局信道状态信息是非常困难的且计算复杂度高，现有的优化方法难以得到最优策略。因此，提出了一种多智能体深度强化学习方法来获得与蜂窝通信链路共享频谱的最优策略，并使工业物联网网络综合效率最大化。

发明内容

为了克服现有技术的存在的不足，本发明的目的旨在提出一种基于深度强化学习的频谱分配优化方法。

为了达到上述目的，本发明采用的技术方案是：

一种基于深度强化学习的物联网频谱分配优化方法，其特征在于，包括：

构造多个设备对设备通信链路的系统模型；

基于构造的系统模型采集系统相关参数，包括蜂窝通信链路的信噪比和在频谱子带上的传输速率，也包括设备对设备通信链路的信噪比、所选择的频谱子带及其传输功率；

构建优化目标函数以及约束条件；

将采集的相关参数输入至优化目标函数以及约束条件，基于马尔可夫决策采用多智能体深度Q网络算法对目标函数进行求解，输出最优的频谱子带选择和传输功率分配策略，包括蜂窝通信链路效率、多个设备对设备通信链路效率以及最后所考虑的工业物联网网络效率。

在上述的一种基于深度强化学习的物联网频谱分配优化方法，多个设备对设备通信链路的系统模型包括：

一个基站；

个蜂窝通信链路；

个设备对设备通信链路；

其中，蜂窝通信链路用于获取高数据速率的服务，多个设备对设备通信链路用于设备之间的双向通信；假设蜂窝通信链路的频谱被分成个正交频谱子带，且每个频谱子带带宽为。

在上述的一种基于深度强化学习的物联网频谱分配优化方法，多个设备对设备通信链路可能有不同的频谱子带选择，二元频谱分配向量被定义为，并且，

当设备对设备通信链路复用蜂窝通信链路的频谱子带时，；

当时，设备对设备通信链路未复用蜂窝通信链路的频谱子带；

定义每个设备对设备通信链路最多只能复用一个频谱子带，即：

。

在上述的一种基于深度强化学习的物联网频谱分配优化方法，

蜂窝通信链路在频谱子带上的信噪比：

蜂窝通信链路在频谱子带上数据的传输速率可以表示为：

设备对设备通信链路在频谱子带上的信噪比：