[发明专利]一种无线通信中性能切换与用户服务质量联合优化方法

说明书

本发明公开了一种无线通信中性能切换与用户服务质量联合优化方法。该方法首先将用户服务质量评价指标、切换性能评价指标与乒乓切换率结合作为切换参数优化问题的优化目标，再将此切换参数优化问题抽象为马尔科夫决策过程，然后利用无模型的强化学习方法，通过基站本身与网络环境的交互，对每一个状态‑动作对训练得到一个Q值来评估在特定网络状态下使用特定切换参数组合所获得的奖励期望值，最后根据训练好的策略对后续切换参数组合进行选择使得综合切换性能最优。本发明所述方法能够在保证网络切换性能的同时提升用户的吞吐量。

技术领域

本发明属于无线通信中的切换技术，具体涉及一种无线通信中性能切换与用户服务质量联合优化方法。

背景技术

移动鲁棒性优化(Mobility Robustness Optimization,MRO)能够根据网络环境自动调整网络中的切换参数—切换迟滞(Handover Margin,HOM)和触发时间 (Time-to-Trigger,TTT)，以提升网络的切换性能。现有的切换参数优化方法中通常忽视了用户服务质量，会出现即使网络性能达到最优，但是数据传输速率较低的情况。本发明中采用基于强化学习的切换性能与用户服务质量联合优化方法，该方法能够通过基站与环境交互的方式自动地学习参数调整策略以优化网络切换性能与用户服务质量，在保证切换性能的同时提升用户平均吞吐量。

发明内容

发明目的：针对上述现有技术中切换参数优化导致的数据传输速率低等问题，本发明提供一种无线通信中性能切换与用户服务质量联合优化方法。

为实现上述目的，本发明所提供的技术方案如下：

一种无线通信中性能切换与用户服务质量联合优化方法，所述方法首先将用户服务质量评价指标、切换性能评价指标与乒乓切换率结合作为切换参数优化问题的优化目标，再将此切换参数优化问题抽象为马尔科夫决策过程，然后使用无模型的强化学习方法— Q学习，通过基站本身与网络环境的交互，对每一个状态-动作对训练得到一个Q值来评估在特定网络状态下使用特定切换参数组合所获得的奖励期望值，最后根据训练好的策略对后续切换参数组合进行选择使得综合切换性能最优。

进一步的，本发明包括如下步骤：

(1)采集网络信息，并初始化切换参数，所述的切换参数为切换迟滞参数HOM和切换触发时间TTT，并初始化自定义优化周期T和初 始化Q学习参数；

(2)通过强化学习获得最优切换参数选取策略π^*(s)，在特定网络状态s下，能够选取使得未来切换性能最优的切换参数组合a。最优策略π^*(s)即为训练收敛后Q表，通过与环境交互进行Q值得更新获得，代表在特定环境状态下选取某一动作的概率大小。

更进一步的，步骤(1)所述的初始 化Q学习参数包括Q表Q(s,a)，学习速率α，折扣因子γ，初始探索率ε_init，控制参数a和控制参数b。

步骤(2)具体如下：

(21)初始化t＝1，基站统计上一优化周期内的切换性能指标，包括切换失败率、乒乓切换率，和用户服务质量指标，得到状态s_t；

(22)在当前切换性能指标状态s_t下，用ε-贪心法根据Q表选取切换参数组合 HOM-TTT，记为a_t；

(23)将原切换参数组合替换为a_t直至下一优化周期结束的t+1时刻；

(24)令t＝t+1，重复步骤(21)，得到当前优化周期内切换性能指标集合，记为s_t+1，并由空间状态及回报函数计算得所选切换参数组合相较原切换参数组合获得的回报r_t+1；