[发明专利]一种基于深度强化学习的RIS辅助频谱共享方法

说明书

本发明提出一种基于深度强化学习的RIS辅助频谱共享方法，解决了传统优化方法需复杂的数学计算和数学推导，无法对模型泛化的问题，首先建立RIS辅助的频谱共享模型，使得主要用户和次要用户均能获得良好的通信质量；以最大化次要用户SU在接收端的通信速率为目标，并考虑主要用户PU在接收端的信噪比、次要用户SU在接收端的传输速率、RIS对入射信号的相移的约束条件，采用基于深度强化学习的SAC算法进行求解，即使优化模型转换，本申请所提的方法也具有通用性，拥有较好的动作探索能力，有效避免陷入局部次优解，收敛性能稳定。

技术领域

本发明涉及无线通信频谱资源优化的技术领域，更具体地，涉及一种基于深度强化学习的RIS辅助频谱共享方法。

背景技术

近年来，一种全新的技术引起了无线通信研究界的关注：可重构智能反射平面(RIS)。RIS技术被认为是一种非常有发展潜力和前景的B5G/6G无线通信技术，它是一个包含了大量无源反射单元的平面，平面上每一个单元都能独立智能地改变和控制入射信号的幅度以及相位。通过大规模地在无线网络通信中部署RIS，可以灵活地调整发射机和接收机之间地信号传输状态和无线信道状态，以达到大幅改善信号传输性能和获取所需要的无线信道状态分布的目的，从而为从根本上解决无线信道衰落和干扰问题提供了一种全新地方法，并由此可能让无线通信能力和可靠性有一个巨大地飞跃。

此外，6G技术的开发也是为了寻找新的可用频谱资源，频谱稀缺问题已成为的全世界通信难题。而在频谱资源如此稀缺的时代下，无线电认知的频谱共享技术成为了解决频谱资源稀缺的重要手段，然而在传统的无线电认知系统中，由于主要用户的通信链路强干扰，使得次要用户很难得到比较良好的通信质量，而RIS则很有效地解决了这个问题，在保证主要用户的通信速率同时，极大地改善了次要用户地通信速率。

RIS主要是通过改变入射信号的幅度和相位来实现它相应的功能，因此如何设计反射单元的幅度和相位变换能让RIS能反射出用户所需要的信号成为实现RIS技术的关键所在，即应该如何设计RIS的反射波束成形。目前使用优化RIS反射波束成形的方法主要是在优化领域的数值方法，如2020年7月，X.Guan,Q.Wu，R.Zhang在IEEE CommunicationsLetters上发表“Joint Power Control and Passive Beamforming in IRS-AssistedSpectrum Sharing(vol.24,no.7,pp.1553-1557)”的文章，阐述了通过传统优化方法以及在RIS辅助下，设计RIS的反射波束成形，在保证主用户通信速率的前提下最大化次用户的通信速率,此过程中使用了传统的数值优化方法，但是算法复杂度大且使用了复杂的数学变换，此外一旦变换了模型和优化问题后，便要重新寻找新的算法。另外，关于RIS反射波束成形的优化问题大多数是非凸问题，因此使用传统的优化方法去解决这一类问题会变得十分困难，涉及到许多十分复杂的数学推导和数值优化技术。

发明内容

为解决传统优化方法需复杂的数学计算和数学推导，无法对模型泛化的问题，本发明提出一种基于深度强化学习的RIS辅助频谱共享方法，探索能力强，有效避免陷入局部次优解，拥有稳定的收敛性能。

为了达到上述技术效果，本发明的技术方案如下：

一种基于深度强化学习的RIS辅助频谱共享方法，至少包括：

S1.建立RIS辅助的频谱共享模型，确定频谱共享模型的主要用户PU与次要用户SU，以及主要用户PU的发射端及接收端，次要用户SU的发射端及接收端；

S2.计算次要用户SU在接收端的信噪比，根据次要用户SU在接收端的信噪比，计算次要用户SU在接收端的通信速率；

S3.以次要用户SU在接收端的通信速率最大为目标函数，以主要用户PU在接收端的信噪比、次要用户SU在接收端的传输速率、RIS对入射信号的相移为约束条件，建立频谱共享优化模型；