[发明专利]低轨卫星网络中基于Q学习的切换判决方法

说明书

本发明属于移动通信技术领域，涉及一种低轨卫星网络中基于Q学习的切换判决方法；所述判决方法包括采用高斯马尔科夫模型和卫星的星历信息预测出用户终端可能的切换路径，并确定所述用户终端所对应的候选卫星；基于候选卫星的接收信号强度、服务时间、信道利用率以及中继开销制定出用户终端关联不同候选卫星的收益函数；计算出用户终端在当前状态下选择不同决策动作所获得的收益奖赏值；根据所述收益奖赏值，用户终端采用Q学习算法计算出对应的Q值；用户终端根据Q值表对进行切换判决，使得用户终端关联到对应卫星；本发明不仅极大地降低了用户终端的切换失败率，而且有效地均衡了网络负载。

技术领域

本发明属于移动通信技术领域，涉及一种低轨卫星网络中基于Q学习的切换判决方法。

背景技术

由于基站部署困难等问题的限制，地面蜂窝网络不能提供偏远山区、海洋、高原等地区的移动业务。卫星通信通过多颗卫星进行联合组网形成卫星星座，具有覆盖范围广、不受地域和空域限制的特点引起人们的关注。卫星通信网络与地面移动通信网络的融合将成为移动通信的重要发展方向。其中低轨卫星系统因具有低时延、路径损耗小以及覆盖面积广等特点而受到人们的广泛关注，然而由于卫星相对地面的高速移动以及用户终端的移动性，单颗低轨卫星对地面终端的覆盖时间有限，用户终端在进行通信时需要进行频繁地切换。常见的卫星切换包括星间切换和波束切换。波束切换主要涉及到卫星的信道分配问题，常用的信道分配包括排队切换、信道预留等技术，相关研究已经很成熟。本发明内容主要针对星间切换中的星地链路切换。

目前，星间切换中都是基于仰角、服务时间、空闲信道数、接收信号强度这些因素进行单属性或多属性决策，都是基于当前时刻下做出的最优切换判决；但是这些切换策略都没有考虑终端的运动特性对切换过程的影响，且当前时刻的最优选择在用户的整个通信时长内未必是最优；此外，并未将卫星拓扑结构对切换过程造成的影响考虑在内，导致了用户切换失败率和新呼叫阻塞率较高。

发明内容

基于现有技术存在的问题，本发明的目的在于提供一种低轨卫星网络中基于Q-learning的切换判决方法。该算法首先考虑用户终端的移动性，运用高斯马尔可夫模型和卫星的星历信息预测出用户终端可能的切换路径。然后考虑候选卫星的接收信号强度、服务时间、信道利用率以及中继开销四个切换因子制定用户终端关联不同卫星的收益函数。最后用户终端根据Q值表来进行切换判决，使得用户终端关联到合适的卫星。

本发明提供如下解决方案以解决上述技术问题：

一种低轨卫星网络中基于Q学习的切换判决方法，所述方法包括以下步骤：

S1、采用高斯马尔科夫模型和卫星的星历信息预测出用户终端可能的切换路径，并确定所述用户终端所对应的候选卫星；

S2、基于候选卫星的接收信号强度、服务时间、信道利用率以及中继开销四个切换因子，制定出用户终端关联不同候选卫星的收益函数；

S3、计算出用户终端在当前状态下选择不同决策动作所获得的收益奖赏值；

S4、根据所述收益奖赏值，用户终端采用Q学习算法计算出对应的Q值；

S5、用户终端根据Q值表对进行切换判决，使得用户终端关联到对应卫星。

本发明的有益效果：

本发明考虑用户终端的移动性，首先运用高斯马尔可夫模型对终端轨迹进行预测，然后结合卫星的星历信息，可获得在终端的整个通信时长内可能的切换路径；其次，考虑候选卫星集中候选卫星的接收信号强度、服务时间、信道利用率以及中继开销四个切换因子，通过层次分析法确定不用因子的权重，设置终端关联不同卫星的收益函数，运用Q学习(Q-learning)算法进行切换判决，得到在终端的通信时长内最优的切换路径。本发明不仅极大地降低了用户终端的切换失败率，而且有效地均衡了网络负载。

附图说明

图1是本发明实施例中低轨卫星网络中基于Q学习的切换判决方法流程图；