[发明专利]一种基于认知的卫星通信网络选择算法

权利要求书

1.一种基于认知的卫星通信网络选择算法，其特征在于，方法步骤如下：

步骤1、建立基于认知的卫星通信系统模型；

步骤2、在所述基于认知的卫星通信系统模型中，认知用户感知自身所处环境覆盖的卫星通信网络，若只有一个可用的卫星通信网络，则选择当前网络；若存在多重卫星通信网络，则认知用户通过卫星网管中心收集各个卫星通信网络的状态和信息参数，即先验信息，先验信息包括各个卫星通信网络的性能体验反馈、时延、速率、误码性能和网络负载，并转入步骤3；

步骤3、认知用户根据卫星网管中心提供的先验信息，使用合适的方法选择多重卫星通信网络覆盖下的最佳网络：

当先验信息完全时，认知用户根据自身的业务需求并且结合收集到的先验信息，直接进行网络选择；当缺少至少一项上述先验信息时，则认知用户利用强化学习技术获取各个卫星通信网络的反馈信息，从而进行网络选择，转入步骤4；

步骤4、所述认知用户利用强化学习技术获取各个卫星通信网络的反馈信息，从而进行网络选择，步骤如下：

步骤4-1、根据环境状态s，s∈S、认知用户执行的动作a，a∈A、状态-动作奖励值R(s,a)和状态转移概率函数P(s,a)，利用马尔可夫决策过程进行建模，并且以状态-动作奖励值R(s,a)作为衡量标准，其中A是动作选择集合，S是环境状态集合；

步骤4-2、初始化状态-动作奖励值R₁(s,a)，当认知用户无法获得任何先验信息时，令R₁(s,a)＝0；当认知用户已知部分先验信息时，不同的卫星通信网络对应不同的奖励值R₁(s,a)，其中，R_t(s,a)表示认知用户第t时刻访问该状态-动作对时的奖励值；

步骤4-3、认知用户在与多重卫星通信网络的交互过程中，获取环境状态s，根据当前环境状态s下的状态-动作奖励值R_t(s,a)，按照使R_t(s,a)最大的策略π选择动作a；

步骤4-4、认知用户执行动作a，得到性能体验反馈信号f(s,a)和下一时刻的环境状态s'，寻找环境状态s'下的状态-动作奖励值的最大值max R_t(s',a')，并根据式(1)更新R_t(s,a)：

其中，f_t(s,a)为在t时刻的性能体验反馈信号，折扣因子γ体现未来反馈相对当前反馈的重要性，在t时刻的学习因子λ_t(s,a)的更新如式(2)所示，体现认知用户与环境的交互速率；

其中，N_t(s,a)表示在t时刻认知用户访问状态-动作对(s,a)的次数，b为衰减因子；

步骤4-5、判断认知用户是否找到当前环境下的最优网络，即认知用户的选择结果是否收敛，当认知用户接入最优网络时结束迭代循环；否则，返回步骤4-2。

2.根据权利要求1所述的基于认知的卫星通信网络选择算法，其特征在于：所述步骤1中，基于认知的卫星通信系统模型包括卫星、主用户、认知用户和卫星网管中心，其中，一个卫星通信网络至少对应一颗卫星，卫星在通信网络内完成中继任务；主用户是每个卫星通信网络内的授权用户，不同卫星通信网络内的主用户相互之间没有影响，经过授权的主用户在通信时只需向各自卫星通信网络的卫星网管中心报备即可；认知用户是伺机利用空闲资源的未经授权的用户，在不影响主用户通信时，认知用户能够接入任何可用的卫星通信网络，进而建立卫星通信链路；

在基于认知的卫星通信链路中，主用户向卫星发出申请信号，卫星转发申请信号到卫星网管中心，由于主用户已经得到授权，则卫星网管中心接收到主用户的申请后分配相应的网络资源给主用户，认知用户通过与卫星和网管中心的交互获得反馈信息，从而根据收集到的信息接入最优的卫星通信网络。