[发明专利]一种基于认知的卫星通信网络选择算法

摘要

本发明公开了一种基于认知的卫星通信网络选择算法，主用户使用传统的卫星通信网络接入技术建立通信链路，认知用户通过与外界环境的交互、学习和更新，在不对主用户产生有害干扰的同时，完成一种动态的卫星通信网络的选择。该算法克服了传统的静态网络选择技术完全依赖卫星通信网络状态和信息参数的缺点，使认知用户即使在缺少部分或者全部卫星通信网络状态和信息参数的环境下也能找到最优网络。基于认知的卫星通信网络选择算法能够使认知用户迅速确定当前环境下的最佳卫星通信网络，提高通信资源的利用效率。

主权项

1.一种基于认知的卫星通信网络选择算法，其特征在于，方法步骤如下：步骤1、建立基于认知的卫星通信系统模型；步骤2、在所述基于认知的卫星通信系统模型中，认知用户感知自身所处环境覆盖的卫星通信网络，若只有一个可用的卫星通信网络，则选择当前网络；若存在多重卫星通信网络，则认知用户通过卫星网管中心收集各个卫星通信网络的状态和信息参数，即先验信息，先验信息包括各个卫星通信网络的性能体验反馈、时延、速率、误码性能和网络负载，并转入步骤3；步骤3、认知用户根据卫星网管中心提供的先验信息，使用合适的方法选择多重卫星通信网络覆盖下的最佳网络：当先验信息完全时，认知用户根据自身的业务需求并且结合收集到的先验信息，直接进行网络选择；当缺少至少一项上述先验信息时，则认知用户利用强化学习技术获取各个卫星通信网络的反馈信息，从而进行网络选择，转入步骤4；步骤4、所述认知用户利用强化学习技术获取各个卫星通信网络的反馈信息，从而进行网络选择，步骤如下：步骤4‑1、根据环境状态s，s∈S、认知用户执行的动作a，a∈A、状态‑动作奖励值R(s,a)和状态转移概率函数P(s,a)，利用马尔可夫决策过程进行建模，并且以状态‑动作奖励值R(s,a)作为衡量标准，其中A是动作选择集合，S是环境状态集合；步骤4‑2、初始化状态‑动作奖励值R1(s,a)，当认知用户无法获得任何先验信息时，令R1(s,a)＝0；当认知用户已知部分先验信息时，不同的卫星通信网络对应不同的奖励值R1(s,a)，其中，Rt(s,a)表示认知用户第t时刻访问该状态‑动作对时的奖励值；步骤4‑3、认知用户在与多重卫星通信网络的交互过程中，获取环境状态s，根据当前环境状态s下的状态‑动作奖励值Rt(s,a)，按照使Rt(s,a)最大的策略π选择动作a；步骤4‑4、认知用户执行动作a，得到性能体验反馈信号f(s,a)和下一时刻的环境状态s'，寻找环境状态s'下的状态‑动作奖励值的最大值max Rt(s',a')，并根据式(1)更新Rt(s,a)：其中，ft(s,a)为在t时刻的性能体验反馈信号，折扣因子γ体现未来反馈相对当前反馈的重要性，在t时刻的学习因子λt(s,a)的更新如式(2)所示，体现认知用户与环境的交互速率；其中，Nt(s,a)表示在t时刻认知用户访问状态‑动作对(s,a)的次数，b为衰减因子；步骤4‑5、判断认知用户是否找到当前环境下的最优网络，即认知用户的选择结果是否收敛，当认知用户接入最优网络时结束迭代循环；否则，返回步骤4‑2。