[发明专利]基于深度强化学习的信道接入和能量调度方法、装置

说明书

本发明涉及基于深度强化学习的信道接入和能量调度方法及系统，属于无线通信领域，针对无线设备处于一个能量紧缺和有限状态观察值的应用场景，比如工作在地震灾区等难以频繁使用人力干预的无线设备，本发明方法能够使用分布式的深度强化学习的神经网络得到一个比较优秀的能量调度和信道接入策略，不仅使无线设备能够具有一定的能量管理和调度能力，而且尽可能的减少无线设备之间的信息碰撞，同时提高整个通信系统的吞吐量。

技术领域

本公开涉及无线通信，尤其涉及一种基于深度强化学习的信道接入和能量调度方法、装置。

背景技术

根据报道，无线网络中的物联网设备逐渐增加，并且将在未来达到一个非常大的数量，同时物联网设备工作通常是会消耗能量的，但是设备的电池是有限的，这就需要人工更换物联网设备的电池，使得整体的维护费用提高。

万幸的是，近年来兴起的能量收集(Energy Harvesting，简称EH)技术可以使得物联网设备能够有能力从周围环境中收集能量从而实现电量的循环。但是这项技术同样也有一个比较大的问题，那就是无线设备从环境中收集到的能量是随机的，不可预测的，这就要求无线设备能够具有一定的能量管理和调度系统，使得自己能够在比较复杂的能量环境中合理的调度自己的能量消耗，尽可能的使得自己能够工作更久的时间。

在近年来，对于带有EH的无线通信系统，一些学者研究了许多的接入策略和能量调度的方法来使得网络可以有效低利用收集到的能量提高吞吐量，具体的方法可以分为以下三种：

(1)传统方法是使用动态规划等算法来对通信系统进行整体的动作规划，其主要缺陷是需要知道系统的全部信息，但是在实际情况下非常难实现。

(2)传统的方法由于要求已知系统的参数而不具有太大的实际应用价值，所以基于学习的方法开始逐渐出现并被应用到带有能量收集的无线通信系统中。但基于强化学习的方法会随着系统规模的变大而占用较大的空间。

(3)近年来，研究人员成功将强化学习和深度学习相结合，其诞生出来的产物深度强化学习(其中深度Q网络DQN，即Deep-QNetwork，简称DQN，比较具有代表性)可以有效的提高稳定性并且处理大规模的状态空间，已经有一些学者将其应用到无线通信网络中以提高网络的吞吐量。虽然深度强化学习在一定程度上解决了上述的问题，但是当前的深度强化学习是采用集中式，集中式的深度强化学习要求有一个“中央控制器”，这个控制器需要知道系统全部的信息，比如信道状态，UE的能量等等，然后才能做出决策，而实际上缺乏一种设备能够扮演这种角色，所以集中式的深度强化学习在无线通信网络中存在局限性。

发明内容

针对上述现有技术，本发明的目的是提供一个比较优秀的能量调度和信道接入方法，其采用一种“分布式的深度强化学习”的方法，将其应用到通信模型中，各个UE自行利用自己的状态观察值，做出相应的决策。实验结果表明，本发明方法具有可行性，其不仅使无线设备能够具有一定的能量管理和调度能力，而且能尽可能的减少无线设备之间的信息碰撞，同时提高整个通信系统的吞吐量。所述分布式的深度强化学习是指的是为每个无线设备都配备一个神经网络，由设备自己通过自己的观察值自行做出决策。

为了解决实现上述目的，本发明的技术方案如下。

第一方面，本发明提出了一种基于深度强化学习的信道接入和能量调度方法，用户设备模块获取用户设备UE i的前T1个时隙信息在每个信道发送成功与否的状态和用户设备UE i的电池剩余容量作为输入信息，将输入信息输入该用户设备UE i对应的训练好的深度强化学习网络，深度强化学习网络输出用户设备UE i的最优动作，i＝1，2，…，N，N为用户设备UE总数，大于等于信道数；其中：T1为设定值；所述动作为用户设备UE i在时隙t时刻选择消耗能量发送信息给接入点或用户设备UE在时隙t时刻选择挂起不发送信息。