[发明专利]一种基于深度强化学习的无线传输空时频资源配置方法

说明书

本发明涉及无线空口资源领域，具体说是一种基于深度强化学习的无线传输空时频资源配置方法，该方法包括：首先根据用户的位置和与基站的角度信息采用密度聚类算法对用户进行聚类，在不同聚类中的用户使用不同的波束为不同用户分配空域无线资源；然后，在一个时隙内基于用户的位置、用户与基站的角度、用户移动速度、用户移动方向、被基站的覆盖情况、聚类情况，采用深度强化学习为不同的用户分配不同的频带资源。本发明基于用户多方面的信息提出了空时频多域关联的资源分配方法，利用迫零波束成形将空域资源分配给不同聚类中的用户，在一个时隙内利用深度强化学习方法将频率资源分配给不同的用户。本发明提出的基于深度强化学习的无线传输空时频资源配置方法对资源的分配明显优于随机分配和决斗的深度强化学习方案，适用于动态条件下无线通信领域的空时频资源分配场景。

技术领域

本发明涉及无线空口资源领域，具体说是一种基于深度强化学习的无线传输空时频资源配置方法。

背景技术

未来6G技术的发展世界各国尚未达成共识，但总体来看，6G技术将会在5G现有技术基础上，进一步融合卫星通信、AI与大数据，构成面向2030年之后的泛在移动通信基础设施。受新应用需求与技术需求的驱动，6G需要引入新的性能指标，如更高的频谱效率/能效/成本效率、更高的传输速率、更低的时延、更大的连接数密度、覆盖率、智能化程度、安全性等。为了满足新需求与性能指标要求，6G采取全覆盖、全频谱、全应用、强安全的新范式。因此，6G将支持泛在异构场景，在空天地海各领域，借助各类传感器并基于大数据和深度学习，提供一个万物互联的网络。

然而，由于6G支持跨海空天地的连接，其传输环境非常复杂。如何分析空时频多域资源的尺度特性和耦合关系，挖掘多域资源的关联性和互易性，实现资源统一编排管理，是一项重要的技术挑战。

目前已有案例基于Q强化学习的无线网络配置方案，主要利用Q网络强化学习根据网络状态优化无线网络资源的分配，但不清楚分配到是何种无线资源。基于强化学习的资源分配优化方法和系统实现方案，主要是为根据下行链路的带宽、物理资源块数量、待传输的用户业务数量、资源块特征、下行链路特征等信息，为用户业务分配资源块。现有方案主要是利用强化学习针对无线传输单域(空域、时域或频域)进行的资源分配。对于无线传输空时频多域资源的研究甚少。

发明内容

针对现有技术中存在的缺陷，本发明的目的在于提供一种基于深度强化学习的无线传输空时频资源配置方法，解决无线传输空时频多域关联的资源分配问题。

为达到以上目的，本发明采取的技术方案是：

一种基于深度强化学习的无线传输空时频资源配置方法，包括如下步骤：

S1、采用密度聚类算法对用户聚类，所述密度聚类算法的输入包括用户位置信息、用户与基站之间的角度正弦值，输出为用户聚类标签；

S2、采用迫零波束成形方法为步骤S1中的不同聚类在空域上配置不同波束，所述迫零波束成形所需要的信道状态信息为每个聚类中用户的平均信道状态信息；

S3、以用户的位置、行驶速度、行驶方向、用户被哪个基站覆盖、用户与基站的角度和用户聚类标签作为状态，以选择子载波作为动作，以传输速率作为奖励，为了使得系统的总传输速率最大，利用深度强化学习算法为不同的用户学习一种一个时隙内子载波资源的分配方法。

在上述方案的基础上，所述步骤S1中用户的初始位置信息在基站覆盖范围内随机生成，车辆用户位置在道路上生成，行人用户在非道路上生成。

在上述方案的基础上，所述步骤S1中密度聚类算法的实施主体为基站上的边缘服务器。

在上述方案的基础上，所述步骤S2中聚类的平均信道状态信息矩阵为H，利用迫零波束成形方案得到的波束矩阵W＝H^T(HH^T)^-1。

在上述方案的基础上，所述步骤S2中用户的信道状态信息由基站采集。