[发明专利]一种基于深度强化学习的物联网频谱分配优化方法及系统

权利要求书

1.一种基于深度强化学习的物联网频谱分配优化方法，其特征在于，包括：

构造多个设备对设备通信链路的系统模型；

基于构造的系统模型采集系统相关参数，包括蜂窝通信链路的信噪比和在频谱子带上的传输速率，也包括设备对设备通信链路的信噪比、所选择的频谱子带及其传输功率；

构建优化目标函数以及约束条件；

将采集的相关参数输入至优化目标函数以及约束条件，基于马尔可夫决策采用多智能体深度Q网络算法对目标函数进行求解，输出最优的频谱子带选择和传输功率分配策略，包括蜂窝通信链路效率、多个设备对设备通信链路效率以及最后所考虑的工业物联网网络效率；

将蜂窝通信链路效率和设备对设备通信链路效率加权和定义为工业物联网网络效率：

其中，和是平衡蜂窝通信链路和设备对设备通信链路效率的权重；

蜂窝通信链路效率表示为：

就是定义的蜂窝通信链路在频谱子带n上的传输速率，

设备对设备通信链路的效率表示为：

其中，和分别为蜂窝通信链路的传输功率和电路功耗，为频谱子带带宽；类似地，结合设备对设备通信链路的传输速率，为频谱子带带宽，和分别为设备对设备通信链路的传输功率和电路功耗；

约束条件表示为

其中，和都表示设备对设备通信链路频谱选择的限制条件，设备对设备通信链路的传输功率不能超过其最大传输功率；

是设备对设备通信链路数量；

是设备对设备通信链路序号；

是正交频谱子带数量；

是蜂窝通信链路的频谱子带序号；

是蜂窝通信链路数量；

是蜂窝通信链路序号。

2.根据权利要求1所述的一种基于深度强化学习的物联网频谱分配优化方法，其特征在于，多个设备对设备通信链路的系统模型包括：

一个基站；

个蜂窝通信链路；

个设备对设备通信链路；

其中，蜂窝通信链路用于获取高数据速率的服务，多个设备对设备通信链路用于设备之间的双向通信；假设蜂窝通信链路的频谱被分成个正交频谱子带，且每个频谱子带带宽为。

3.根据权利要求2所述的一种基于深度强化学习的物联网频谱分配优化方法，其特征在于：多个设备对设备通信链路可能有不同的频谱子带选择，二元频谱分配向量被定义为，并且，

当设备对设备通信链路复用蜂窝通信链路的频谱子带时，；

当时，设备对设备通信链路未复用蜂窝通信链路的频谱子带；

定义每个设备对设备通信链路最多只能复用一个频谱子带，即：

。

4.根据权利要求3所述的一种基于深度强化学习的物联网频谱分配优化方法，其特征在于：

蜂窝通信链路在频谱子带上的信噪比：

表示为蜂窝通信链路在频谱子带上的传输功率；

蜂窝通信链路在频谱子带上数据的传输速率表示为：

设备对设备通信链路在频谱子带上的信噪比：

干扰功率可以表示为：

设备对设备通信链路在频谱子带上的传输速率为：

其中，蜂窝通信链路在频谱子带上到基站的信道增益被表示为；是噪声功率，为二元频谱分配向量，表示频谱子带上设备对设备通信链路的传输功率，是设备对设备通信链路在频谱子带上到基站的干扰信道增益；为频谱子带带宽，是蜂窝通信链路在频谱子带上信噪比；是设备对设备通信链路在频谱子带的信道功率增益，是设备对设备通信链路在频谱子带上的接收到的干扰功率；为二元频谱分配向量，是蜂窝通信链路到设备对设备通信链路的干扰信道增益，是设备对设备通信链路到设备对设备通信链路的干扰信道增益。