[发明专利]一种基于深度增强学习的无线网络资源分配方法

说明书

本发明提供一种基于深度增强学习的无线网络资源分配方法，能够以较低复杂度最大限度地提高时变信道环境中的能量效率。所述方法包括：建立深度增强学习模型；将基站与用户终端之间的时变信道环境建模为有限状态的时变马尔科夫信道，确定归一化信道系数，并输入卷积神经网络q_eval，选择输出回报值最大的动作作为决策动作，为用户分配子载波；根据子载波分配结果，基于信道系数的反比为每个子载波上复用的用户分配下行功率，基于分配的下行功率确定回报函数，并将回报函数反馈回深度增强学习模型；根据确定的回报函数，训练深度增强学习模型中的卷积神经网络q_eval、q_target，确定时变信道环境下功率局部最优分配。本发明涉及无线通信以及人工智能决策领域。

技术领域

本发明涉及无线通信以及人工智能决策领域，特别是指一种基于深度增强学习的无线网络资源分配方法。

背景技术

长期演进(Long Term Evolution，LTE)时代开始，建网架构从宏网络向宏微协同转变，宏蜂窝(Macro Cell)可持续发展面临着诸多挑战，例如，不可预期的业务增长需求、泛在接入需求、随机的热点部署以及宏蜂窝自身较大的成本压力。因此，微蜂窝、家庭基站等小基站(Small Cell)精准覆盖，补充盲区的优点得以体现，并逐渐成为网络部署中与宏基站协同工作，分摊宏基站服务压力的重要环节。第五代移动通信，是继4G之后的延伸，5G并不是一个单一的无线接入技术，而是多种新型无线接入技术和现有无线接入技术演进集成后的解决方案的总称。如今5G网络又开始进入人们的视线，业界普遍认为用户体验速率是5G最重要的性能指标。5G的技术特点可以用几个数字来概括：1000x的容量提升、1000亿+的连接支持、10GB/s的最高速度、1ms以下的延迟。5G中主要技术包括超大规模多天线，新型多址接入技术以及超密集网络，其中，小基站的部署与宏基站构成了超密集异构网络，为用户提供泛在业务。

随着移动用户数量的剧增，小基站的布设也趋于超密集化，无线通信领域带来的能源消耗是非常巨大的，针对我国环境污染严重以及能源日益紧缺的国情，绿色通信必然是值得研究与探索的方向，因此，在保证满足用户数据需求以及服务质量的基础上，通过合理的资源分配方式实现更高的能量效率是一个重要的研究方向，但是，现有技术中，还没有有效的优化方法能够考虑时变信道的影响，模拟实际时变信道环境，以较低计算复杂度分配网络资源并得到较高能量效率的优化方法。

发明内容

本发明要解决的技术问题是提供一种基于深度增强学习的无线网络资源分配方法，以解决现有技术所存在的无法有效地实现时变信道环境中无线资源分配的问题。

为解决上述技术问题，本发明实施例提供一种基于深度增强学习的无线网络资源分配方法，包括：

S101，建立由两张相同参数的卷积神经网络q_eval、q_target构成深度增强学习模型；

S102，将基站与用户终端之间的时变信道环境建模为有限状态的时变马尔科夫信道，确定基站与用户之间的归一化信道系数，并输入卷积神经网络q_eval，选择输出回报值最大的动作作为决策动作，为用户分配子载波；

S103，根据子载波分配结果，基于信道系数的反比为每个子载波上复用的用户分配下行功率，基于分配的下行功率确定系统能量效率，基于所述系统能量效率确定回报函数，并将回报函数反馈回深度增强学习模型；

S104，根据确定的回报函数，训练深度增强学习模型中的卷积神经网络q_eval、q_target，若连续多次所得的系统能量效率值与预设阈值之间的差值在预设的范围内或高于预设阈值，则当前分配的下行功率为时变信道环境下功率局部最优分配。

进一步地，所述归一化信道系数表示为：