[发明专利]低轨卫星网络随机接入中回退资源的动态配置方法

权利要求书

1.一种低轨卫星网络随机接入中回退资源的动态配置方法，所述低轨卫星网络包括多颗低轨卫星，其特征在于，包括：

构建用户业务模型，所述用户业务模型用于提供基于地理位置和时间所生成的用户终端的接入需求，所述接入需求包括多个所述用户终端的优先级；

构建网络系统模型，所述网络系统模型参数包括一个SSB广播周期的长度、在所述SSB广播周期内卫星的覆盖区域、在所述SSB广播周期内的RO及其对应波位和在所述SSB广播周期内可被分配为回退资源的时隙，其中，每个所述RO的对应波位具有相应的所述接入需求；

构建深度强化学习模型，所述深度强化学习模型的模型参数包括：RO的对应波位在一个SSB广播周期的状态、动作和奖励，所述状态包括所述SSB广播周期、卫星的覆盖区域、所述RO的对应波位、所述RO的对应波位在所述SSB广播周期的需要回退的用户终端数量和在所述SSB广播周期接收到所述RO的MsgA后可分配为回退资源的空闲时隙的占用情况，其中，所述用户终端具有对应的优先级；所述动作包括根据所述状态为所述RO的对应波位分配的回退资源；所述奖励包括所述RO的对应波位的用户终端在所述SSB广播周期中被分配到所述回退资源并经历整个所述SSB广播周期后所获得的奖励；

获取训练数据，所述训练数据包括每颗低轨卫星在每个SSB广播周期内的每个RO的所述状态、所述动作和所述奖励，根据所述训练数据训练所述深度强化学习模型，获得经训练的深度强化学习模型；

获取当前SSB广播周期内每颗所述低轨卫星的每个目标RO的对应波位的当前状态，将所述当前状态输入所述经训练的深度强化学习模型，所述经训练的深度强化学习模型输出所述当前状态对应的目标动作；以及

根据所述目标动作为所述每个目标RO的对应波位分配目标回退资源。

2.如权利要求1所述的动态配置方法，其特征在于，在构建用户业务模型的步骤中还包括：根据所述用户终端的优先级为与所述RO相关联的前导码进行分组，所述接入需求还包括前导码分组。

3.如权利要求1所述的动态配置方法，其特征在于，根据所述目标动作为所述每个目标RO的对应波位分配目标回退资源的步骤包括：按照所述目标RO的对应波位内的需要回退的用户终端的优先级的高低，从高到低依次为多个所述用户终端分配所述目标回退资源。

4.如权利要求1所述的动态配置方法，其特征在于，所述构建深度强化学习模型的步骤包括：

初始化所述深度强化学习模型中的评估网络和目标网络，所述评估网络包括第一网络参数，所述目标网络包括第二网络参数，所述评估网络用于根据所述RO的对应波位在一个SSB广播周期的状态、动作和所述第一网络参数获得所述RO的对应波位在当前SSB广播周期的状态的动作的第一估值函数，所述目标网络用于根据所述RO的对应波位在下一个SSB广播周期中的状态、动作和所述第二网络参数选择所述RO的对应波位在下一个SSB广播周期的状态的最大动作的第二估值函数。

5.如权利要求4所述的动态配置方法，其特征在于，根据所述训练数据训练所述深度强化学习模型的步骤包括：

步骤S51：将所述RO的对应波位在一个SSB广播周期的状态输入所述评估网络，从动作空间中为所述状态选择所述动作；

步骤S52：根据所述动作计算所述奖励；

步骤S53：根据在所述SSB广播周期内所述RO的对应波位的所述状态和所述动作，获得所述RO的对应波位在下一个SSB广播周期的状态，存储所述RO的对应波位在所述SSB广播周期的所述状态、所述动作、所述奖励和在下一个SSB广播周期所述RO的对应波位的状态作为经验池的一组历史数据；

步骤S54：从所述经验池中随机抽取L组历史数据，计算每组历史数据的第一估值函数和第二估值函数，L是大于1的正整数；

步骤S55：根据所述第一估值函数和第二估值函数更新所述第一网络参数；

步骤S56：重复迭代K次所述评估网络后，使所述第二网络参数等于所述第一网络参数，K是大于1的正整数；

步骤S57：重复上述步骤S51-S56，当所述第一网络参数的损失函数达到收敛时，将所述评估网络作为经训练的深度强化学习模型。