[发明专利]端侧算力网络中多粒度多级别算力调度方法

权利要求书

1.一种端侧算力网络中多粒度多级别算力调度方法，其特征在于，包括：

步骤1，在基站侧部署一个在线深度强化学习代理器和系统状态监控模块，其中，系统状态监控模块负责收集系统状态信息，在线深度强化学习代理器用于做出决策并不断更新策略；

步骤2，每个时间帧开始时，系统状态监控模块探测和收集各个任务型设备TD与各个资源型设备RD和基站之间的信道状态，以及各个资源型设备RD的空闲资源和移动边缘计算服务器ES在当前时间帧给各个任务型设备TD分配的计算资源并发送给深度强化学习代理器；

步骤3，深度强化学习代理器基于系统状态检测模块提供的系统状态信息输出每个用户的任务分割策略以及每个子任务的调度决策，并将任务分割和子任务调度决策发送给对应的任务型设备TD；

步骤4，收到任务分割和子任务调度方案的任务型设备TD将自身的任务按照指令进行分割并按照指令并行调度到目标计算节点处并行处理；

步骤5，任务型设备TD接收到并行调度出去的所有子任务的计算结果，完成任务；

步骤6，每隔若干数量的时间帧，深度强化学习代理器根据历史经验对自身的深度神经网络的参数进行更新。

2.根据权利要求1所述的端侧算力网络中多粒度多级别算力调度方法，其特征在于，步骤3包括：

步骤3.1，将系统状态信息输入在线深度强化学习代理器的深度神经网络中；

步骤3.2，深度神经网络的输出层的激活函数为sigmoid，DNN输出的是松弛的任务分割动作，其中，每个元素的值被松弛为0-1之间；

步骤3.3，通过滑动阈值量化算法将松弛的任务分割动作量化为Q个任务分割动作，其中Q为自定义的超参数；

步骤3.4，对生成的Q个任务分割动作进行筛选，将重复以及不可行的任务分割动作剔除掉，剩下Q’个可行的任务分割行为；

步骤3.5，对剩下的Q’个可行的任务分割方案中每一个方案得到的子任务集合使用并行任务调度算法获得每个子任务的目标处理位置以及处理时延的均值；

步骤3.6，从剩下的Q’个可行的任务分割方案中选择能够实现的处理时延均值最小的任务分割方案以及对应的任务调度策略，并将任务分割方案以及对应的任务调度策略下发给各个任务型设备TD，将选择的任务分割动作归一化后作为当前系统状态的标签和系统状态一起存放到经验回放缓存中，如果缓存已满则将最旧的数据替换掉。

3.根据权利要求2所述的端侧算力网络中多粒度多级别算力调度方法，其特征在于，步骤3.3包括：

步骤3.31，基于每个用户的任务需要输出的结果数量确定阈值，当任务需要输出N个结果时，阈值分别为1/N,2/N,…(N-1)/N；

步骤3.32，基于需要生成的动作数量确定每个用户任务的分割阈值的滑动步长；

步骤3.33，基于阈值来对任务结果进行分类，其中被分到一类的结果表示由一个子任务输出结果，结果对应的位置被量化为结果中序号的最小值，表示子任务的序号，分的类别的数量对应分割的子任务数量；

步骤3.34，通过Q-1次阈值滑动来生成剩下的Q-1个任务分割动作。

4.根据权利要求3所述的端侧算力网络中多粒度多级别算力调度方法，其特征在于，步骤3.32中，当需要生成Q个动作时，计算出N个结果的任务的阈值滑动步长为1/NQ。

5.根据权利要求1或3所述的端侧算力网络中多粒度多级别算力调度方法，其特征在于，步骤1中，通过每隔一段时间在经验回放缓存中随机抽取一批样本数据进行训练来更新自身的参数以更新策略。