[发明专利]一种面向深度学习分层模型的协同推理方法

权利要求书

1.一种面向深度学习分层模型的协同推理方法，其特征在于，所述方法包括以下步骤：

步骤1、对边缘集群中的各边缘计算节点及深度学习模型的离线数据进行统计并预处理，将预处理后的数据通过中心节点转发至各个边缘计算节点内；

边缘集群中的距离终端设备最近的边缘节点为中心节点，步骤1为前期准备工作阶段，包括边缘节点离线统计阶段、各层计算量离线统计阶段、排序阶段和离线数据下发阶段；

边缘计算节点离线统计阶段，统计出各个边缘计算节点的处理速度并归一化；

各层计算量离线统计阶段，统计各类参与推理的深度学习模型的每层计算任务大小情况；

排序阶段，对归一化后的节点处理速度和分层模型各层计算量大小由大到小依次向下排列；

离线数据下发阶段，对以上获得的离线数据下发至边缘集群中各个边缘节点处；

步骤2、终端设备将其接收到的推理任务转发至中心节点，中心节点作出整体决策，并将决策信息转发给相应的边缘计算节点执行；

步骤3、中心节点根据统计到的集群内边缘计算节点处理速度和各层模型计算量大小，统一决策，为每层模型分配处理能力合适的边缘计算节点；

中心节点将决策信息发送至第一个要处理的节点中处理第一层任务，当第一个结点处理完成之后转发至下一节点处理下一层任务，然后依次执行；

在每次执行前，中心节点首先判断节点间网络是否阻塞或者下一节点的进程数量是否已满；如果出现以上两种情况的任意一种，则将阻塞信息告知中心节点，由中心节点查找是否有空闲的网络顺畅的更高处理能力的节点，直到找到存在可行的节点，并做出决策调整，由该可行节点处理下一层任务；

步骤4、所有任务完成后将最终计算结果回传至终端设备。

2.根据权利要求1所述的一种面向深度学习分层模型的协同推理方法，其特征在于，边缘节点离线统计阶段，统计边缘集群中所有边缘计算节点处理某项计算量大小已知任务所需时间，任务大小选取时需保证任一节点处理时间不低于一秒；具体公式为：

，

其中，表示边缘计算节点的处理速度，单位是M/s；表示所需处理的某项任务的计算量大小，单位是M；表示边缘计算节点处理某项任务所需时间；表示最快处理速度，表示最慢处理速度；

对每个边缘计算节点的处理速度进行归一化处理，归一化处理速度的数值范围为，归一化公式如下：

。

3.根据权利要求2所述的一种面向深度学习分层模型的协同推理方法，其特征在于，各层计算量离线统计阶段，将要参与推理的深度学习模型通过距离终端最近的边缘节点，统计计算每层深度学习模型时延；表示深度学习模型第层推理任务，深度学习模型总层数记为，，则第层所需计算时延为；其中最高时延用表示，最低时延用表示；由于深度学习模型第层推理任务计算量的大小与通过第层计算时延成正相关，因此对计算时延归一化得到的数值即表示其计算量的大小；归一化计算量大小，，归一化公式如下：

。

4.根据权利要求3所述的一种面向深度学习分层模型的协同推理方法，其特征在于，排序阶段将得到的边缘计算节点处理速度的归一化数值和深度学习模型推理的各层计算量大小的归一化数值按照从大到小的顺序进行排序。

5.根据权利要求4所述的一种面向深度学习分层模型的协同推理方法，其特征在于，离线数据下发阶段将其他阶段获得的数据，通过边缘计算中心节点下发至边缘集群中各个边缘节点处，为边缘节点决策和策略实时调整提供依据。

6.根据权利要求1所述的一种面向深度学习分层模型的协同推理方法，其特征在于，所述深度学习模型为m层结构，以隐藏层各单独阵列的神经元为切割点进行分层卸载；从左至右分层卸载时，第i列、第i+1列神经元和两列神经元间的网络结构，称为深度学习模型的第i层；。