[发明专利]一种端边云协同卷积神经网络推理方法及系统

说明书

一种端边云协同卷积神经网络推理方法及系统，包括：基于构建的模型压缩方法，得到该模型在所有压缩划分方案下的延时；基于获得的所有压缩划分方案的延时，确定联合压缩划分方案性能上下界；构建在给定CNN划分层上给定压缩率下的模型精度上界估计方法；构建在给定精度要求和CNN划分层时的压缩率决策方法；搜索延时最优的联合最优模型压缩划分方案；运行系统，进行模型推理。本发明通过CNN模型的压缩划分来进行分层级的计算卸载，对通信和计算瓶颈进行联合优化，实现快速的海量终端数据智能分析，通过全等通道剪枝方法和统一仿射量化方法，可靠可控地高效压缩CNN模型在任意给定层上的通信量，显著降低了端边云协同CNN推理的传输延时。

技术领域

本发明属于分布式智能领域，具体涉及一种端边云协同卷积神经网络推理方法及系统。

背景技术

随着高度智能的深度学习算法以及广泛应用的物联网技术的发展，大量的智能应用(如交通监控，缺陷检测，电网巡检等)依赖于使用深度学习卷积神经网络(Convolutional Neural Network)模型推理对海量终端数据进行高精度快速的智能分析。已有方法通过设计优化深度学习CNN推理推进了高精度的智能分析，在部分视觉任务上甚至取得了超越人类的效果。然而基于CNN推理的高精度的智能分析往往伴随着高昂的计算开销，难以直接在计算资源受限的终端部署实现快速的智能分析，阻碍了大量实际应用的落地。因此，如何在实际的设备资源条件下实现高精度快速的终端数据智能分析是支撑智能应用的一个关键问题。高精度深度学习CNN推理高昂的计算开销限制了其在一般计算资源受限的设备完成快速的智能分析。为了消除CNN推理带来的计算瓶颈，现有应用常上传数据使用算力可扩展的云计算来完成智能分析。然而考虑到海量终端数据的体量，这种方式也无法在实际的带宽资源下支撑大量的智能应用。现有的终端计算和云计算的方式分别受制于计算和通信，都无法支撑高精度快速的海量终端数据智能分析。

发明内容

本发明的目的在于提供一种端边云协同卷积神经网络推理方法及系统，以解决现有方式无法在实际的带宽资源下支撑大量的智能应用，以及现有的终端计算和云计算的方式分别受制于计算和通信，都无法支撑高精度快速的海量终端数据智能分析的问题。

为实现上述目的，本发明采用以下技术方案：

一种端边云协同卷积神经网络推理方法，包括以下步骤：

构建通信最优模型压缩方法，通过全等通道剪枝和统一仿射量化压缩CNN模型在任意给定层上的通信量；

基于构建的模型压缩方法，对给定的CNN模型在给定端边云系统中进行信息搜集，得到该模型在所有压缩划分方案下的延时；

基于获得的所有压缩划分方案的延时，确定联合压缩划分方案性能上界(T_max,A_max)以及下界(T_min,A_min)，其中，T_max、T_min为推理延时上下界，A_max、A_min为推理精度上下界，(T_max,A_max)由在无压缩时延时最小的方案确定，(T_min,A_min)由压缩时延时最小的方案确定；

构建在给定CNN划分层上给定压缩率下的模型精度上界估计方法；

构建在给定精度要求和CNN划分层时的压缩率决策方法；