[发明专利]基于深度强化学习的4G与5G网络间动态频谱共享方法

说明书

本发明提供一种基于深度强化学习的4G与5G网络间动态频谱共享方法。考虑一个单基站覆盖的蜂窝网络，将基站视为智能体，其可调度的最小资源单位定义为资源块，包含时间和频率两个维度，基站的共享策略将针对资源块周期制定，即在每个决策周期内决定哪些资源块共享用于5G服务供应。本发明以4G网络服务质量保证和频谱共享效率为目标，通过深度强化学习使基站能够根据动态的环境信息不断改进策略，实现对4G闲置频谱的高效、合理利用。本发明不依赖特定模型，能够更加准确地制定共享策略。同时，本发明中基站能够利用训练好的神经网络基于当前环境的观测量直接制定共享策略，省去基于传统优化算法的复杂计算，避免了其带来的不可容忍的延迟。

技术领域

本发明属于移动通信技术领域，具体涉及一种基于深度强化学习的智能型动态频谱共享方法。

背景技术

近年来，随着入网无线设备数量的激增，移动无线通信网络中的数据流量呈指数级增长，迫使移动通信网络向第五代(5G)演进。为了支撑海量数据传输和新兴应用场景，5G网络需要更多的频谱资源作为支持，频谱短缺已成为5G移动通信网络发展亟需解决的关键问题。然而，大量研究表明，在目前固定的频谱分配策略下，大量授权频段利用率很低，在部分地区和时段甚至不足20％，这与5G对频谱的迫切需求形成了强烈的矛盾。因此，如何有效利用有限的频谱资源，解决频谱供需矛盾，已成为移动通信领域的焦点难题。

为提高频谱利用效率，频谱共享技术被提出并迅速得到广泛关注，其主要思想是让非授权用户在不影响授权用户正常使用的前提下，机会性地使用空闲的授权频段。该共享理念已在5G频谱部署中得到体现，根据不同网络在不同时段的业务量的不同，动态分配某段频谱共享用于5G服务提供。频谱共享对5G发展具有重大意义，一是利于5G使用4G的低频段实现网络的泛在覆盖，比如2021年初中国移动和中国广电在700MHz频段上对5G业务的共建共享；二是利于4G向5G平滑演进，在5G初期用户数量不多时，可以动态地将频谱资源用于4G用户使用，而当5G用户逐渐增多时，可以为5G网络分配更多的频谱资源。然而，目前频谱共享的实施方案主要是大尺度下的静态共享，即在特定时段和较大区域内对固定频段进行释放和共享，灵活度不高，且仍存在频谱资源浪费现象。因此，更具优势的动态频谱共享技术被提出，旨在根据业务需求的实时变化动态分配频谱资源，从而大幅度提高频谱利用效率。目前关于4G与5G网络频谱动态共享的研究存在以下不足：

一、目前提出的动态频谱共享方法大多基于传统的优化理论将问题建成一个全局优化问题，进而得到最优的共享策略。然而，由于网络环境在空间和时间维度上的动态特性，网络中的流量需求等相关信息是不确定的，这使得优化建模和求解十分困难，难以实现。

二、动态频谱共享需要根据网络的状态实时调整共享策略，由于实际网络中通常有大量智能设备接入，数据类型多，信息维度大，即使能够通过优化手段得到最优策略，其问题求解的较高复杂度将带来难以容忍的延迟。

三、动态共享4G的频谱资源会带来一定的信道容量损失，即降低4G用户的网络速率，影响4G用户体验。因此，在制定共享策略时，需要前瞻地预测4G网络流量需求，在保证4G用户QoS(服务质量)的前提下，准确地制定频谱资源共享策略。

考虑上述目前研究存在的问题，本发明将基于深度强化学习设计一种以4G网络性能保证为前提，以频谱共享效率为目标的智能型4G与5G网络动态频谱共享方法，令基站可以通过学习网络环境快速制定最优策略。

发明内容

本发明的目的是克服目前网络对频谱利用的低效性，为移动通信网络提供一种4G与5G网络之间动态频谱共享方法。在移动通信网络中，不同区域和时段内的流量需求通常不同，且具有一定变化规律，本发明将通过学习不同区域内4G流量需求变化的潜在时间相关性，预测小区的未来4G流量需求，并依此制定相应的频谱共享策略，即将多余的4G频谱用于5G服务提供。