[发明专利]一种基于混沌Q-学习算法的竞争窗口大小智能选择方法

摘要

本发明涉及一种基于混沌Q‑学习算法的竞争窗口大小智能选择方法，属于通信技术领域。该方法通过对LTE LAA和WiFi网络场景构建混沌Q‑学习框架的方式，使得LAA基站可以基于当前的环境根据历史经验智能地选择最优竞争窗口大小，进而提升共存网络的性能。本发明能够在保证共存系统的公平性前提下有效提高共存系统的吞吐量性能，同时还能够获得较低的分组时延。

主权项

1.一种基于混沌Q‑学习算法的竞争窗口大小智能选择基于一种混沌Q‑学习算法竞争窗口值智能选择方法，其特征在于：该方法包括以下步骤:S1：设置智能体(LAA小基站)的动作集合：A∈[w_min,w_max]；S2：初始化Q(s,a)、Γ、η、w_min、w_max、α、γ、ψ、S3：设置吞吐量和公平性阈值；S4：设置智能体状态集合，即S＝{s₁,s₂,s₃,s₄,s₅,s₆}；S5：智能体以概率(1‑ε)选择最大Q值所对应的动作，而以概率ε根据混沌序列选择某个动作；S6：在执行所选择的动作之后，智能体从环境中获取该动作所对应的奖励值，并更新动作Q值函数，然后进入到下一个状态；S7：重复步骤S5‑S6，直至s到达目标状态(高吞吐量和高公平性)；S8：重复步骤S3‑S7，直至动作Q值函数达到稳定状态，即任意的|Q_t‑Q_t+1|≤θ。