[发明专利]基于能量采集与深度强化学习的WLAN协议设计与优化方法

说明书

本发明公开了一种基于能量采集与深度强化学习的WLAN协议设计与优化方法，包括以下步骤：S1、基于能量采集技术构建WLAN模型场景；S2、根据传统CSMA/CA协议设计基于能量采集的分布式AEH‑CSMA/CA协议；S3、针对网络中的智能STA进行基于深度强化学习的优化决策。本发明将能量采集技术与无线通信技术相结合，有效的解决了未来物联网海量设备的能源供应问题，实现绿色网络的愿景。同时基于深度强化学习技术，为网络中的智能STA进行智能的决策，以降低其能量中断概率并且提高数据发送量，使得无线网络更加智能化。

技术领域

本发明属于无线通信网络技术领域，特别设计一种基于能量采集与深度强化学习的WLAN协议设计与优化方法。

背景技术

随着无线通信技术的飞速发展，越来越多的网络设备正在逐渐加入到这个万物互联的网络，为了更好的感知周围环境并且为提高通信质量做出相应的决策(如资源分配等)，海量的微型传感器也分布在随处可见的空间内。由于设备数量巨大，因此除了保证其通信需求外，如何为其进行持续的能量供应也就成为了一个比较严峻的问题。如果通过人为的更换电池或者有源充电，由于消耗的人力成本与设备数量呈指数增长的关系，因此是及其得不偿失的。因此，就需要采用一种其他的便捷式充电技术，也就是为所有的低功耗设备配置能量采集模块，以帮助它们随时的采集周围环境中的能量。周围环境的能量采集技术主要针对于太阳能、风能、热能等可持续发展能源，通过持续的采集周围环境的能量，低功耗设备可以实现无源工作的愿景。但是，由于周围环境能量具有一定的不确定性，例如晚上就没有了太阳无法采集太阳能，因此这些设备的工作也深受周围环境的影响。为了有效的提高网络的通信性能，就需要更加智能的对周围环境进行一定的感知，进而进行一定的决策。

近年来，人工智能技术正炙手可热。其凭借可以使得机器设备等像人类一样比较智能的感知与学习环境并且做出一定的反馈的特性，目前已经被各大领域加以应用。在通信领域，人工智能技术也被应用于各个通信层。例如，物理层可以采用深度学习进行智能的调制与编码，MAC层可以依据强化学习进行一定的资源分配，而网络层则可以智能的帮助各个设备寻找最优路由。通信与机器学习的结合，正在使得网络更加智能化。

对于拥有众多低功耗传感器的家庭网络，由于设备数量较多，因此采用分布式的竞争协议则相对更为适合。为了实现绿色节能通信，各个设备也配置能量采集模块从周围环境采集能量来为自身的数据发送供能。但是，各个设备的能量状态不同，也会影响到自身的数据发送状态。如果用户能量较多，则有可能更为频繁的尝试发送，因此导致不必要的数据碰撞，也会极大的提高能量中断概率。由于周围环境感知的复杂性，因此如果使用传统的建模方法则会较为困难。因此，我们可以借助于人工智能，采用深度强化学习的方式替节点感知周围环境信息，进而做出合理的决策。

发明内容

本发明的目的在于克服现有技术物联网海量设备的能量供应不足的问题，提供一种将能量采集技术与无线通信技术相结合，同时基于深度强化学习技术，为网络中的智能STA进行智能的决策，以降低其能量中断概率并且提高数据发送量，使得无线网络更加智能化的基于能量采集与深度强化学习的WLAN协议设计与优化方法。

本发明的目的是通过以下技术方案来实现的：基于能量采集与深度强化学习的WLAN协议设计与优化方法，包括以下步骤：

S1、基于能量采集技术构建WLAN模型场景；

S2、根据传统CSMA/CA协议设计基于能量采集的分布式AEH-CSMA/CA协议；

S3、针对网络中的智能STA进行基于深度强化学习的优化决策。

进一步地，步骤S1具体实现方法为：假设WLAN场景中包含一个AP与N个STA，每个STA都配置有用于采集周围环境中能量的能量采集模块；在N个STA中，设置有一个具有在自身运行深度强化学习算法功能的智能STA，其余普通STA只能进行协议操作；智能STA能够通过调节自身的退避窗口大小来控制自身的数据发送与能量消耗状态；