[发明专利]卫星边缘智能代理的编排方法、系统、介质及计算设备

权利要求书

1.一种卫星边缘智能代理的编排方法，其特征在于，包括：

计算所有服务实例的总延时，根据所述总延时得到代理迁移问题对应的优化问题；

将所述优化问题解耦成若干子问题，由若干子问题转换形成低维MDP问题，求解解耦后的所述低维MDP问题，实现以最小延时为目的的智能代理按需迁移；

所述计算获得所述总延时，包括：

在系统总周期内，计算各所述服务实例运行时所需的总计算延时；

在系统总周期内，不迁移所述服务实例时，计算各所述服务实例所需的传输延时；

当所述服务实例需要迁移时，计算所述服务实例在不同基站间迁移所产生的迁移延时；

将所有所述服务实例的所述总计算延时、所述传输延时和所述迁移延时求和，得到所述总延时；

所述将优化问题解耦成若干子问题，采用两层解耦法将高维状态空间分解为若干个低维状态空间；

所述两层解耦法，包括：

第一层解耦采用变量解耦和直接解耦法：将所述优化问题拆解成两部分，第一部分对计算资源、带宽资源和功率资源采用变量解耦，将三个变量分别独立求解，得到优化后的子问题；第二部分对迁移决策变量采用直接解耦优化，直接解耦成若干整数规划问题；

第二层解耦采用对偶解耦法：将各所述整数规划问题经拉格朗日推导转化为二层主问题与服务层子问题；所述二层主问题用于优化拉格朗日乘子，再将所述二层主问题解耦成若干所述服务层子问题，所述服务层子问题解耦后优化每个服务实例的决策变量；

所述服务层子问题关于决策变量构成所述低维MDP问题。

2.如权利要求1所述卫星边缘智能代理的编排方法，其特征在于，所述求解解耦后的所述低维MDP问题，采用在所述服务层子问题、所述主问题和所述子问题之间互相迭代计算，实现从针对基站的优化化解到针对每个服务实例的优化，包括：

对迁移决策变量、计算资源、带宽资源和功率资源及拉格朗日乘子进行初始化；

对每个时隙进行迭代计算，包括：

外层循环：循环变量为第三个服务实例，如果满足迭代终止条件，则终止该外层循环；

第一个内循环：对所有基站遍历；

求解所述子问题中关于计算资源变量的凸优化问题；

继续执行第一个内循环，循环变量第一个服务实例；

求解所述子问题中关于功率资源变量的凸优化问题；

求解所述子问题中关于带宽资源变量的凸优化问题；

满足第一个内循环的迭代终止条件，则执跳出第一个内循环；

执行第二个内循环：循环变量第二个服务实例；

对基站内的每个服务执行新的MDP模型训练，求解所述服务层子问题并输出每个服务实例的迁移决策变量；

更新拉格朗日乘子；

若满足第二个内循环的迭代终止条件，则执跳出第二个内循环；

将迭代计算得到的迁移决策变量、计算资源、带宽资源和功率资源作为输出。

3.如权利要求2所述卫星边缘智能代理的编排方法，其特征在于，所述对基站内的每个服务执行新的MDP模型训练，包括：

将生成的决策变量、拉格朗日乘子作为输入，并用策略迭代的方法训练新的MDP模型；

依据训练的结果，求解所述服务层子问题并输出每个服务实例的迁移决策变量。

4.如权利要求1所述卫星边缘智能代理的编排方法，其特征在于，确定所述低维MDP的状态空间、行动、转移概率和瞬时收益函数；

所述转移概率其中表示服务实例n在t时隙可行的迁移集合；

所述瞬时收益函数为：

其中，表示迁移服务实例相比不迁移服务实例获得的增益；为效用函数；表示该服务实例的邻居基站集合；为t时隙的状态空间；表示用户n在第t时段随机迁移至某一基站；表示服务实例n在第t时段的开始时刻决定迁移至的某一基站。