[发明专利]一种用于多接入边缘计算系统的神经网络协同推理方法

权利要求书

1.一种用于多接入边缘计算系统的神经网络协同推理方法，其特征在于，包括如下步骤，

步骤一：给MEC系统中各用户设备上部署的DNN模型设定可用切分点，在各可用切分点处训练用于压缩特征的轻量自编码器；

步骤二：建立系统模型，测量各DNN模型推理及特征压缩所需的时延及能耗，建立优化问题；

步骤三：构建MEC系统的深度强化学习模型，使用混合空间决策算法求解优化问题；

步骤四：协调系统内用户及服务器完成DNN模型推理任务，降低用户设备端的推理时延及能耗。

2.如权利要求1所述的一种用于多接入边缘计算系统的神经网络协同推理方法，其特征在于：步骤一的实现方法为，

首先收集MEC系统中各接入设备上部署的模型，将每个包含下采样操作的网络层前面设定为可用切分点，随后在每个切分点处训练用于压缩特征的自编码器；自编码器编码端和解码端都只由一个卷积层构成；编码卷积层的输入通道数由自编码器的输入特征尺寸确定，输出通道数在满足给定可容忍精度损失的前提下取尽可能小的数值，以实现尽可能大的压缩率；自编码器训练完成后，使用特征量化技术进一步压缩编码器的输出，其中量化位数在可容忍精度损失的范围内取尽量小的数值。

3.如权利要求1所述的一种用于多接入边缘计算系统的神经网络协同推理方法，其特征在于：步骤二的实现方法为，

将训练完的自编码器部署后，首先建立描述推理时延及能耗的系统模型；对于用户n，有三种可用的推理模式：1、在本地完成DNN模型前b_n层推理，其中随后使用自编码器和量化技术压缩中间特征，将压缩后的特征通过无线信道传输至边缘服务器端解码后，在服务器上完成后B_n-b_n层推理并返回结果的协同推理模式；2、完全使用接入设备完成推理的本地推理模式，此情况记b_n＝B_n；3、直接将原始输入数据通过无线信道传输至边缘服务器，在服务器上完成全部推理并返回结果的边缘推理模式，此情况记b_n＝0；在总可用信道数目为C时，多接入MEC系统的通信模型为：

其中r_n为用户n与边缘服务器间的无线通信上行速率，c_n∈{1，2，...，C}为被用户n占用的无线信道，p_n为用户n的发射功率，g_n为用户n与部署在边缘服务器端的无线基站之间的信道增益，为信道c_n的带宽，为信道c_n的背景噪声；

系统的时延模型为：

其中t_n为用户n完成单次推理任务的时延，与分别表示完成模型前b_n层推理与特征压缩的时延，为将中间层特征通过无线信道传输到边缘服务器端的时延，I_{Condition}为指示函数，当且仅当条件Condition为真时函数值为1，否则函数值为0；根据公式计算，其中f_n为经过压缩后的中间特征大小；

系统的能耗模型为：

其中e_n为用户n完成单次推理任务的能耗，与分别表示完成模型前b_n层推理与特征压缩的能耗，为将中间层特征通过无线信道传输到边缘服务器端的能耗；根据公式计算，其中p_n为用户n的信号发射功率；各DNN模型推理及特征压缩所需的时延及能耗，即和使用功率测量仪器在接入设备上实际测量得到；

基于上述系统模型及测量的单设备执行DNN模型推理及特征压缩的时延及能耗，我们希望在多设备的MEC系统中实现小的推理时延及能耗，并建立如下的MINLP优化问题：

其中π为系统推理策略，由切分点选择、无线信道选择以及发射功率设置组成，K_n为用户n需要完成推理的输入样本数量，p_max为单个用户的最大发射功率，β＞0是用于权衡时延与能耗的超参数。