[发明专利]一种集成地面卫星网络的能效优化方法及装置

说明书

本发明公开了一种集成地面卫星网络的能效优化方法及装置，该方法包括：构建集成地面卫星网络系统模型；其中，集成地面卫星网络系统中包括多个基站和多个近地卫星，多个基站和多个卫星用于为用户提供服务；将集成地面卫星网络系统的能效优化问题建模为马尔可夫决策模型；将集成地面卫星网络系统中的每一用户抽象为一智能体，以最大化系统的总能量效率为目标，基于马尔可夫决策模型，采用基于深度确定性策略梯度算法MADDPG的多智能体深度强化学习框架实现系统的能效优化。本发明可以对集成地面卫星网络实现用户协同和功率控制，以此来获得最优的能效优化，从而提高整个系统的能量效率。

技术领域

本发明涉及无线通信技术领域，特别涉及一种集成地面卫星网络的能效优化方法及装置。

背景技术

天地一体化作为卫星网络和地面网络的集成受到了广泛关注和研究，它可同时保证高可靠、低时延，并提供无处不在的通信。近年来，NOMA技术应用在由地面多个基站与空中多个近地卫星组成的集成地面卫星网络被认为是一种有前途的场景。在集成地面卫星网络场景中，地面基站提供低成本的通信服务，同时卫星可以用于覆盖服务地面基站不能服务的用户，比如陆地上欠发达的地区，实现更大的覆盖距离和更好的服务质量。由于集成地面卫星网络的资源有限和系统能量效率较低，随着通信中数据流量的不断增长，最主要的挑战之一是如何通过有效的方法进行合理的资源分配和进行系统的能效优化。为了应对这些挑战，深度强化学习用于集成地面卫星网络的能效优化是一个较好的方法。

传统的深度强化学习在单智能体场景有很好的运用，但是将它们运用在多智能体中就会出现新的问题。每个智能体在不断地学习改进其策略，因此从每一个智能体角度来看环境是一个动态不稳定的。目前，依靠多智能体强化学习算法进行集成地面卫星网络的能效优化尚未深入，是一个亟需解决的问题。

发明内容

本发明提供一种集成地面卫星网络的能效优化方法及装置，通过将多智能体深度强化学习技术用在基于NOMA的集成地面卫星网络中，实现用户协同和功率控制来获得系统的最大能量效率，解决集成地面卫星网络的能效优化问题。

为解决上述技术问题，本发明提供了如下技术方案：

一方面，本发明提供了一种集成地面卫星网络的能效优化方法，包括：

构建集成地面卫星网络系统模型；其中，所述集成地面卫星网络系统中包括多个基站和多个近地卫星，多个基站和多个卫星用于为多个用户提供服务；

将所述集成地面卫星网络系统的能效优化问题建模为马尔可夫决策模型；

将所述集成地面卫星网络系统中的每一用户抽象为一智能体，以最大化系统的总能量效率为目标，基于所述马尔可夫决策模型，采用基于深度确定性策略梯度算法MADDPG的多智能体深度强化学习框架实现系统的能效优化。

进一步地，在所述集成地面卫星网络系统中，用户与基站及卫星通过NOMA技术实现通信。

进一步地，采用基于MADDPG的多智能体深度强化学习框架实现系统的能效优化，包括：

S1，随机初始化神经网络的相关参数和神经网络的回放经验池；

S2，对于每个回合，初始化集成地面卫星网络场景的参数和系统观测空间；

S3：对于每个回合的每个步长，每个智能体观测得到自己这个时隙的状态；

S4：每个智能体根据探索和策略选择动作，选择基站或卫星接入和选择功率控制因子，并执行选择的动作；根据所选择的动作计算此时隙的奖励，观测下一个状态，并将观测值、动作、奖励和下一个观测值存入回放经验池；

S5：对于每个智能体，当回放经验池中的经验数量满足预设数量要求时，从回放经验池中随机抽取一批数据，并根据抽取的数据更新神经网络相关参数；