[发明专利]一种无线通信中性能切换与用户服务质量联合优化方法

权利要求书

1.一种无线通信中性能切换与用户服务质量联合优化方法，其特征在于，所述方法基于强化学习过程，首先将用户服务质量评价指标、切换性能评价指标和乒乓切换率结合作为切换参数的优化目标，然后将切换参数优化抽象为马尔科夫决策过程，通过无模型进行强化学习，通过基站本身与网络环境的交互，对每一个状态-动作对训练得到一个Q值来评估在当前网络状态下使用对应的切换参数组合所获得的奖励期望值，最后根据训练好的策略对后续切换参数组合进行选择，以提高无线通信系统的切换性能

该方法包含以下步骤：

(1)采集网络信息，并初始化切换参数，所述的切换参数为切换迟滞参数HOM和切换触发时间TTT，并初始化自定义优化周期T和初 始化Q学习参数；

其中，所述的初始 化Q学习参数包括Q表Q(s,a)，学习速率α，折扣因子γ，初始探索率ε_init，控制参数a和控制参数b；

(2)通过强化学习获得最优切换参数选取策略π^*(s)，使在特定网络状态s下选取未来切换性能最优的切换参数组合a；具体步骤如下：

(21)初始化t＝1，由基站统计上一优化周期内的切换性能指标，包括切换失败率、乒乓切换率和用户服务质量评价指标，得到状态s_t；

(22)在当前切换性能指标状态s_t下，通过ε-贪心法根据Q表选取切换参数组合HOM-TTT，记为a_t；

在当前切换性能指标状态s_t下，以1-ε的概率选取Q表中使得Q值最大的切换参数组合或以ε的概率随机选取任意一切换参数组合，ε定义如下：

其中，ε_init为ε的初始值，控制参数a和b决定ε的减小速度；随着迭代次数t的增加，ε的值将会逐渐减小，选择使得未来累积回报最大的切换参数组合；

(23)将原切换参数组合替换为a_t直至下一优化周期结束的t+1时刻；

(24)令t＝t+1，重复步骤(21)，得到当前优化周期内切换性能指标集合，记为s_t+1，并由空间状态及回报函数计算得所选切换参数组合相较原切换参数组合获得的回报r_t+1；

(25)根据切换参数替换后转移至的状态s_t+1与获得的回报r_t+1更新Q(s_t,a_t)，计算表达式如下：

其中，α∈[0,1]为学习速率，用于衡量之前训练结果与未来训练结果的保留比重；γ∈[0,1]为折扣因子，用于衡量当前回报与未来回报的比重；

(26)重复步骤(22)至步骤(25)，直至Q表收敛；

(27)退出迭代，获得最优策略π^*(s)；

(28)根据最优策略π^*(s)在任一网络状态下找到最优的切换参数组合HOM-TTT，使得综合切换性能达到最优；

其中，切换参数优化基于马尔科夫决策过程，包括以三元组＜A,S,R＞来表示决策，其中A表示可选切换参数组合的集合，S表示网络性能的状态集合，R表示所选切换参数组合给当前网络状态带来的反馈。

2.根据权利要求1所述的无线通信中性能切换与用户服务质量联合优化方法，其特征在于，所述的概率值ε初始值选取为0.8到1之间。

3.根据权利要求1所述的无线通信中性能切换与用户服务质量联合优化方法，其特征在于：所述方法中用户服务质量评价指标为无线通信系统的平均吞吐量；切换性能评价指标为切换失败率。