[发明专利]一种非协作下基于Q学习的共存方法

说明书

本发明涉及一种非协作下基于Q学习的共存方法，属于通信技术领域。本发明包括以下步骤：S1：设置基站智能体的D2D占空比动作集合和状态集合，初始化矩阵为零阶矩阵，基站去探测信道初始状态信息；S2：基站根据ε‑greedy选择策略选择一个动作；S3：基站通过执行选择的动作同时在Wi‑Fi使用信道阶段探测信道情况，从而计算出当前动作下的系统的吞吐量和频谱利用率，获取当前选择的动作的奖励；S4：根据Q学习的Q表公式来更新Q表，基站进入下一个状态；S5：重复执行S2～S4，直到选择的动作达到目标状态，结束一次迭代；S6：令t←t+1，重复执行步S2～S5，直至Q矩阵收敛，根据Q矩阵选择出最优的D2D占空比分配序列。本发明是基站能够学习并适应Wi‑Fi随机流量的动态行为，在不知道Wi‑Fi流量信息的情况下，通过基站去探测信道使用信息，经过Q学习在面对实时Wi‑Fi流量来选择合适的D2D占空比，使得整个系统能够达到最大吞吐量和频谱利用率，提高频谱效率。

技术领域

本发明属于通信技术领域，涉及一种非协作下基于Q学习的共存方法。

背景技术

近年来，随着移动终端和无线通信事业的高速发展，全球所产生的移动流量 呈爆炸式增长。面对庞大的数据流量需求，即使一些研究学者提出一些关键技术 来缓解授权频谱压力，例如：正交复用技术、Multiple-input–multiple-output(MIMO) 技术、Device-to-device(D2D)技术等，但授权频谱依然处在资源紧缺的状态。鉴 于授权频谱已经达到了很大程度上的利用，所以很难在授权频谱上进行优化资源 分配。

当两个通信设备离得比较近时，可以采用D2D通信技术来提高频谱利用率， 通过在移动基站的集中管理下来共享移动用户的频谱带。通过缩短D2D对的通 信距离，控制其发射端的功率，D2D通信能够有效地提高系统吞吐量、降低能 耗并减少时延。由于授权频谱资源有限，D2D通信与蜂窝用户通信在授权频谱 中复用信道，会给蜂窝用户带来干扰，因此提出D2D-Unlicensed(D2D-U)技术来 研究D2D工作在免授权频谱上的场景。

在现有的大多数研究中，都假设D2D-U系统能够完美地了解Wi-Fi系统信 息，具体来说，只有从Wi-Fi系统接收到所需信息之后，例如Wi-Fi流量和Wi-Fi 数目，D2D-U系统才能优化系统内的参数，在Wi-Fi吞吐量或者中断概率方面保 护Wi-Fi系统。然而，在现实中，由于在两个独立系统之间建立专用信道比较困 难，加上Wi-Fi流量通常是时变的，这使得关于Wi-Fi系统的这种信息可能对 D2D-U系统不适用。

Q学习算法是一种可以确定最优决策策略的强化学习算法，同时也是一种异 步动态规划方法，无需环境模型。将Q学习应用于通信技术中，通过与环境交 互，在环境的奖励或惩罚反馈之下，不断通过试错学习来更新策略，直到产生符 合预期的最优策略。

不同于其他的模型策略，非协作下基于Q学习的D2D-U与Wi-Fi共存策略 不用预先知道Wi-Fi流量信息，而是根据探测到的信道信息做出实时决策，即根 据基站探测Wi-Fi系统使用信道时，信道处于繁忙状态的时间，即Wi-Fi在传输 和碰撞所占用信道的时间，从而实时地进行快速有效的频谱资源分配。因此，非 协作情况下，引入Q学习来解决D2D-U与Wi-Fi在免授权频谱上的共存问题有 重要的研究价值。

发明内容

有鉴于此，本发明提供了一种在非协作下基于Q学习的共存方法，以实现 在免授权频谱上非协作共存时的吞吐量最大化。

为达到上述目的，本发明提供如下技术方案：

一种非协作下基于Q学习的共存方法，包括以下步骤：