[发明专利]卫星容量分配方法、装置和电子设备

权利要求书

1.一种卫星容量分配方法，其特征在于，所述方法包括：

获取卫星在设定时间段内的资源信息；其中，所述设定时间段内的不同时刻所对应的资源信息不同；所述资源信息包含卫星与用户之间的传输数据，还包含卫星与卫星之间的分配数据；

将所述设定时间段的各个时刻对应的资源信息输入至预设的卫星容量分配模型中，结合所述卫星容量分配模型中的惩罚因子和所述各个时刻的资源信息进行计算，得到效益值最大时的卫星容量分配策略；

通过所述卫星容量分配策略对所述卫星容量进行容量分配；

所述卫星容量分配模型的构建过程，包括以下步骤：

初始化强化学习模型以及Q矩阵；所述Q矩阵的列表示所述卫星状态；所述Q矩阵的行表示所述卫星状态下的分配策略；所述Q矩阵中元素的数值表示所述卫星状态下产生的效益；

根据初始化的所述Q矩阵以及所述惩罚因子得到所述卫星容量的分配策略；

根据所述分配策略以及待训练的所述卫星资源信息对所述强化学习模型进行训练，将完成训练的所述强化学习模型作为所述卫星容量分配模型；

所述资源信息，包括以下至少之一：可分配的容量、传输需求容量以及可视时间信息；

所述强化学习模型的学习过程，包括：

根据所述待训练的所述卫星的资源信息以及惩罚因子计算所述卫星的即时效益值，所用算式如下：

其中，C∈[0,C_max]代表当前待分配的容量；t为当前系统时间，b_u为行为决策模块中所分配容量的用户；表示用户b时间t时的传输需求容量；为最大需求容量；r为即时效益值；τ_b(t),t∈[t₀,t₁]表示用户b时间t时剩余的可视时间；τ_b(t)＝{0,1,...,τ_max}，τ_max是最大剩余可视时间；τ_b(t)＝0表示卫星不可视无法进行数据传输；λ为惩罚因子；

根据所述卫星的效益值计算新的所述Q矩阵，所用算式如下：

其中，s为系统当前状态；s'为新分配单位容量后系统的下一个状态；a为行为决策模块中所采取的策略；a'为下一个状态最优决策；Q(s,a)为Q矩阵中每一个元素的数值，代表状态s下采用决策a的效益；γ为长期效益参数；

将新的所述Q矩阵用于下一学习周期中的待训练的所述卫星的资源信息的学习过程，直至停止学习。

2.根据权利要求1所述的卫星容量分配方法，其特征在于，所述方法还包括：

在结合所述卫星容量分配模型中的惩罚因子和每个时刻的资源信息进行计算，得到效益值最大时的卫星容量分配策略之后，根据已完成分配的所述卫星容量更新当前的所述资源信息。

3.根据权利要求1所述的卫星容量分配方法，其特征在于，所述强化学习模型的初始化参数，包括：学习周期、时间参数、系统状态参数以及学习参数；

所述学习周期的初始化结果为1；

所述时间参数的初始化结果为所述设定时间段的起始时刻；

所述系统状态参数的初始化结果为所述设定时间段的起始时刻时的系统状态；

所述学习参数的初始化结果包括决策参数、未传输容量惩罚因子、学习速率参数以及长期效益参数；

所述Q矩阵的初始化结果为零矩阵。

4.根据权利要求3所述的卫星容量分配方法，其特征在于，根据初始化的所述Q矩阵以及所述惩罚因子得到所述卫星的分配策略的步骤，包括：

根据所述系统状态参数，确定所述Q矩阵在所述系统状态下的所有决策对应的行；

将所述决策参数与预设的决策阈值进行对比，获取所述卫星的分配策略；如果所述决策参数小于预设的决策阈值，从所述Q矩阵对应的行中随机选取一项作为所述卫星的分配策略；如果所述决策参数不小于预设的决策阈值，从所述Q矩阵对应的行中选取效益值最大的策略作为所述卫星的分配策略。