[发明专利]一种端边云协同卷积神经网络推理方法及系统

权利要求书

1.一种端边云协同卷积神经网络推理方法，其特征在于，包括以下步骤：

构建通信最优模型压缩方法，通过全等通道剪枝和统一仿射量化压缩CNN模型在任意给定层上的通信量；

基于构建的模型压缩方法，对给定的CNN模型在给定端边云系统中进行信息搜集，得到该模型在所有压缩划分方案下的延时；

基于获得的所有压缩划分方案的延时，确定联合压缩划分方案性能上界(T_max,A_max)以及下界(T_min,A_min)，其中，T_max、T_min为推理延时上下界，A_max、A_min为推理精度上下界，(T_max,A_max)由在无压缩时延时最小的方案确定，(T_min,A_min)由压缩时延时最小的方案确定；

构建在给定CNN划分层上给定压缩率下的模型精度上界估计方法；

构建在给定精度要求和CNN划分层时的压缩率决策方法；

在给定精度要求A₀下，基于模型精度上界估计方法和压缩率决策方法，搜索延时最优的联合最优模型压缩划分方案，其中，若给定精度大于上界A_max，直接提供上界方案；若给定精度小于下界A_min，直接提供下界方案；其余情况，基于给定精度要求A₀，搜索延时最优的联合模型压缩划分方案(l^*,r^*)，输出基于该方案优化的模型的最优端到端推理延时T^*；

在给定延时要求T₀下，基于模型精度上界估计方法和压缩率决策方法，搜索精度最优的联合最优模型压缩划分方案，若给定延时大于上界T_max，直接提供上界方案；若给定延时小于下界T_min，直接提供下界方案；其余情况，基于给定延时要求T₀，搜索精度最优的联合模型压缩划分方案(l^*,r^*)，输出基于该方案优化的模型的最优推理精度A^*；

基于输出的联合最优模型压缩划分方案(l^*,r^*)，优化模型并部署在端边云系统中，运行系统，进行模型推理。

2.根据权利要求1所述的一种基于联合压缩划分的端边云卷积神经网络推理方法，其特征在于，构建通信最优模型压缩方法包括以下步骤：

步骤1.1、全等通道剪枝，对于给定的CNN层，求解

删减不重要的卷积核，其中‖·‖_F表示Frobenius范数，S，L，K和K’分别表示测试样本的数量、同时需要删除卷积核的分支数量、删除的卷积核数量和剩余的卷积核数量，Y表示当前卷积核的输出的特征图，X_k表示对应于第k个输入特征图的通道，W_l,k表示第l个卷积核的第k列，β是一个k维向量，每一维的数值表示一个卷积核的重要程度，λ₁为惩罚系数；首先固定W_l,k，增大λ₁，计算β，并删除当前对应β向量中的最小值及其对应的卷积核，之后固定删除最小元素后的β，通过训练更新W_l,k，循环迭代直至β中分量数目少于K'；

步骤1.2、统一仿射量化，将经过步骤1.1压缩的给定CNN层输出通过仿射量化至8-bit。