[发明专利]基于强化学习的AP信道分配和功率控制联合优化方法

说明书

本发明公开了一种基于强化学习的AP信道分配和功率控制联合优化方法，属于通信技术领域，包括控制器对AP信息数据进行收集获取不同参数信息，并将参数值上传至控制器存储处理，生成数据信道功率对和吞吐量对应的统计表；在控制器中根据数据进行数据处理，获得AP的状态效用值；引入强化学习算法对数据进行学习，此时控制器估算不同参数值下的状态效用值，并更新信道功率对统计表的吞吐量，进而获得使状态效用函数值最大的信道和功率组合，AP根据该信道和功率的组合调整自身工作状态；本发明在保证用户吞吐量的情况下，同时调整AP发射功率和工作信道以降低信号干扰，减少对相邻AP的影响，提高空间复用率，进一步提高网络通信质量。

技术领域

本发明涉及通信技术领域，更为具体地，涉及一种基于强化学习的AP信道分配和功率控制联合优化方法。

背景技术

随着无线通信的普及，智能终端数量的急剧增加，为了给用户提供高带宽、稳定性服务，运营商和服务提供商在公共场所部署了越来越密集的无线局域网。但是，传统WLAN系统默认采用最大功率进行发送，由于信道资源有限，同频或相邻信道存在多个AP，呈现出更高的动态性和干扰，空间复用率低，减少了系统整体容量。因此，当多个参与者以不协调的方式共享媒体时，这种无线系统的整体性能显着低于系统最大容量，有效的资源分配对于任何性能的改进都是至关重要的。

针对上述关于密集部署的WLAN中存在的干扰问题以及整体容量性能受到抑制的问题，研究者们展开了大量的研究工作。目前的吞吐量提升方案主要有：

1、通过发射端功率控制实现无线网络中若干目标的性能提升，包括最小化功耗和延长移动节点的数量，减轻干扰和增加网络容量。由于功率控制对多层协议栈的影响，它直接影响网络中的吞吐量、容量、延迟和公平性，也可能影响能耗和网络连接性。

2、通过物理层的传输速率选择决定整个通信系统的效率。具体地说，在发送方使用高传输速率，从而获得更高的吞吐量、更低的介质占用(从而降低争用延迟和更高的效率)和更低的功耗。

3、通过分组/信号检测机制和载波侦听机制以支持CSMA/CA，实现在干扰和空间重用之间的平衡来调节无线访问中的并发性，提升系统吞吐量性能。

4、联合影响性能的关键因素进行系统吞吐量性能优化，如：联合物理层的符号速率和MAC层的数据包长度；联合功率分配和邻居信道选择等。

然而，现有的WLAN系统吞吐量方法仍然存在以下问题：

1、在自治式WLAN系统中，AP进行正常数据交互前，通过Configure状态机进行初始配置，主要包括通信信道和传输功率配置。AP为用户提供命令行窗口，满足不同网络环境配置需求，但是，AP在进行数据交互过程中，不能对传输功率进行实时自适应调整。

2、由于AP没有自适应功率控制模块，而部署AP设备时，其发射功率均是默认最大的状态，WLAN密集部署时，会因为缺乏正交信道造成严重的同频干扰问题，吞吐量性能不能满足需求，与密集部署AP的初衷相违背。

3、随着AP部署密度的上升，网络环境越来越复杂，影响网络质量的因素也很多。仅通过对单一因素的考虑，能够在一定程度上改善网络质量，提升网络吞吐量性能。但是，不足以最大限度的提升网络吞吐量性能。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于强化学习的AP信道分配和功率控制联合优化方法，利用SDWN的灵活可编程以及集中控制思想，在保障网络有效覆盖以及用户QoE的前提下，实现对网络的实时控制，更加适应网络的高动态性；在保证数据吞吐量的情况下，尽可能的降低AP发射功率，达到节约能耗得效果，同时，降低发射功率和调整信道间隔可以降低信号干扰，减少对相邻AP的影响，提高空间复用率，进一步提高网络通信质量。

本发明的目的是通过以下技术方案来实现的：