[发明专利]一种基于模型压缩和服务分发的边缘计算方法及系统

说明书

本发明涉及一种基于模型压缩和服务分发的边缘计算方法及系统，方法包括：在云端服务器对训练好的神经网络深度学习模型进行轻量化处理得到轻量化模型；将轻量化模型进行打包、封装，生成独立的服务发送至边缘设备；边缘设备接收所述服务，加入到服务调度的管理队列中；根据用户指令，在边缘设备中启动服务进行边缘计算，或停止服务结束边缘计算。本发明实现了全自动的模型推送和模型部署流程，极大地提高了边缘计算设备模型部署的效率。

技术领域

本发明涉及边缘计算技术领域，尤其一种基于模型压缩和服务分发的边缘计算方法及系统。

背景技术

随着人工智能领域的深度学习技术的快速发展，深度神经网络受到了越来越广泛的应用。这类网络模型通常含有大量的参数和计算量，导致低存储、低算力、低功耗的边缘计算设备难以支撑这类模型的推理运算，限制了边缘智能技术的发展。边缘设备通常具有软硬件环境异构的特点，这为通用型算法的部署带来了阻碍，导致算法服务的部署效率极为低下。

发明内容

鉴于上述的分析，本发明旨在提供一种基于模型压缩和服务分发的边缘计算方法及系统，解决边缘计算中模型体积过大的问题和算法服务部署效率低下问题。

本发明公开了一种基于模型压缩和服务分发的边缘计算方法，包括以下步骤：

云端服务器对训练好的神经网络深度学习模型进行轻量化处理得到轻量化模型；

将轻量化模型进行打包、封装，生成独立的服务发送至边缘设备；

边缘设备接收所述服务，加入到服务调度的管理队列中；根据用户指令，在边缘设备中启动服务进行边缘计算，或停止服务结束边缘计算。

进一步地，在云端服务器对训练好的神经网络深度学习模型进行轻量化处理包括：

基于稀疏化训练对模型进行自动参数剪枝得到剪枝后的模型；

对剪枝后模型的参数中的浮点型参数逐一进行八比特量化；

基于模型蒸馏对量化后的模型进行自动参数蒸馏得到轻量化模型。

进一步地，基于稀疏化训练对模型进行自动参数剪枝得到剪枝后的模型包括：

1)将剪枝训练集中的图像样本分别输入到模型M1和模型M2中，执行目标检测任务，得到目标检测特征组{F1}和{F2}；

以训练好的神经网络深度学习模型为所述模型M1和模型M2的初始模型；

2)将目标检测特征组{F1}或{F2}输入到判别网络D中进行判别，得到用于判别输入特征来自于模型M1或模型M2的判别结果{D}；

3)将模型M2的所有卷积层的输出特征图分别点乘权重向量{W}；

4)计算模型M2执行目标检测任务的损失函数L_det；计算模型M2的剪枝正则项损失函数L_prn；以及模型M1与模型M2的判别损失函数L_df；

5)冻结模型M1的所有参数，并断开梯度传播；冻结判别结果{D}的参数，计算总损失函数使用ADAM优化器，通过总损失函数L1计算梯度，更新模型M2和权重向量{W}的所有参数；

6)冻结模型M1的所有参数，并断开梯度传播；冻结模型M2的所有参数，计算总损失函数使用ADAM优化器，通过总损失函数L2计算梯度，更新判别结果{D}的所有参数；

7)交替进行步骤5)和6)对模型M2、权重向量{W}和判别结果{D}进行训练；直至设定的最大训练轮数后停止训练；