[发明专利]一种实时边云协同卷积神经网络推理方法及系统

说明书

一种实时边云协同卷积神经网络推理方法及系统，包括以下步骤：将压缩后的CNN模型转化为边云协同推理模型SW‑CNN；得到SW‑CNN各层在各压缩率下的通信计算延时；根据实时网络性能调整压缩率c；建模实时边云协同推理控制问题并求解，为SW‑CNN选择压缩率；调整SW‑CNN的压缩率至c_n，分析任务p_n。本发明将CNN模型划分为边缘和云端两部分，通过边缘少量模型计算压缩原始数据，之后将边缘输出的CNN模型中间数据上传给云，在云端完成大量模型计算得到最终推理结果，实现高精度、高响应性的实时CNN推理，根据实时任务负载和网络环境，动态调整模型压缩率，支撑波动的网络环境中的实时流式智能分析。

技术领域

本发明属于分布式智能领域，具体涉及一种实时边云协同卷积神经网络推理方法及系统。

背景技术

随着深度学习的发展，卷积神经网络(Convolutional Neural Network，CNN)推理在一系列任务上取得了瞩目的成绩，在部分视觉任务上甚至取得了超越人类的效果。基于广泛分布的物联网(Internet of Things，IoT)设备上持续产生的海量高分辨率图像，准确实时的CNN推理支撑着大量的实际应用(如基于监控摄像头的行人识别、基于无人机的目标追踪、基于自动驾驶汽车的交通信号灯识别等)。然而，在已有方法中，CNN推理的实时效率(高精度下的吞吐量)在主流的边缘或云端计算范式下仍十分受限。具体来看，现有边缘计算方法的效率受制于计算密集的CNN模型以及计算资源受限的边缘设备。现有云端计算方法的效率受制于海量的高分辨率边缘图像以及有限的边云带宽。基于边云协同推理可以有效提高效率，然而该类方法的效率受网络波动影响。一个固定的边云协同方案在波动的网络环境难以满足实时流式处理的需求。

发明内容

本发明目的在于提供一种实时边云协同卷积神经网络推理方法及系统，以解决现有云端计算方法的效率受制于海量的高分辨率边缘图像以及有限的边云带宽的问题。

为实现上述目的，本发明采用以下技术方案：

一种实时边云协同卷积神经网络推理方法，包括以下步骤：

在边缘设备上对CNN模型通过特征图压缩，将压缩后的CNN模型转化为边云协同推理模型SW-CNN；

在给定的边云系统中进行信息搜集得到SW-CNN各层在各压缩率下的通信计算延时；

对实时边云协同CNN推理控制问题进行建模，对按照时间序列i＝1,2...到来的流式推理任务，根据实时网络性能调整压缩率c；

初始化任务队列，控制器根据当前的任务剩余时间信息及实时网络情况，建模实时边云协同推理控制问题并求解，为SW-CNN选择压缩率；调整SW-CNN的压缩率至c_n，分析任务p_n；

任务p_n完成后，若任务队列不为空，则重复调整SW-CNN的压缩率至c_n，处理任务p_n，直到处理完任务队列中的所有任务。

进一步的，在边缘设备上对CNN模型通过特征图压缩具体包括：