[发明专利]基于输入修剪的边缘端DNN模型加载系统及方法

说明书

本发明公开一种基于输入修剪的边缘端DNN模型加载系统及方法，系统包括管理模块和压缩模块，其中管理模块包括样本管理模块、模型训练模块和模型管理模块；压缩模块包括压缩模式选择模块、数据压缩模块、模型压缩与重训练模块和压缩日志记录模块；采用该系统本发明基于样本数据构建贝叶斯网络并对网络进行训练，根据贝叶斯网络对模型的输入与输出进行关联性分析，并根据帕累托最优构建代表输入影响度的双向列表，以优化逐个删除输入属性带来的较高时间复杂度；最后结合聚类算法对输入数据属性间的相似性进行分析，并根据以上两种压缩策略及它们的衍生压缩策略完成对模型的个性化和智能化压缩加载，提升了边缘端的整体性能和部署模型的数量。

技术领域

本发明涉及网络边缘端智能化技术领域，尤其涉及一种基于输入修剪的边缘端DNN模型加载系统及方法。

背景技术

随着边缘智能技术的发展，在设备边缘端生成的大量数据不再需要发送到云服务器进行集中处理，通过云-边协作或边-边协作的模式可以高效率、低延迟的处理这些数据，从而也使深度神经网络模型部署或运行在边缘端成为可能。然而深度神经网络模型的参数量极大，有些模型甚至已经达到了数百万个数量级。在训练并测试包含大量参数的深度神经网络模型的过程中存在几点不足：

(1)构建的模型参数需要通过训练达到预期效果，这会消耗大量的计算资源，需要计算能力强大的设备来提升训练速度和测试速度。

(2)深度神经网络大量的参数持久化同样需要占用高容量内存或磁盘资源。

针对上述不足，现阶段神经网络的训练和测试通常是在高性能服务器或者集群下面运行，然而由于边缘智能设备本身的存储和计算资源有限，使神经网络在边缘智能设备上的应用受到了限制。因此，在保证计算精度的同时有效的压缩DNN模型以使其适合运行在边缘设备上已经成为了边缘智能领域研究的热点问题。

目前，常见的用于解决这些问题的模型压缩方法如网络剪枝等，主要是通过去除多余的权重张量中的值来开发体积小、运行快的神经网络。但这种方式存在一些无法解决的问题，传统的模型压缩方法需要手动设置删除的参数个数，并重新训练模型，根据模型的效果进一步设置删除参数，重复上述步骤直至达到模型压缩的预期效果，最终模型压缩的结果需要进行大量的实验测试，给开发者带来巨大的工作量。并且由于不能提前设置阈值实现模型压缩的自动化，这对于一些应用来说不是很友好。另外，传统的模型压缩方法均不能减少数据的大小，这仍然会给模型带来不小的存储和带宽压力。而边缘端的模型压缩不仅需要考虑模型的大小、容量问题，还需要尽可能多的减少输入数据量，并允许通过个性化地处理边缘端产生的数据从而对深度神经网络的模型进行压缩。

因此，为了使模型压缩技术更好地应用于深度神经网络模型，以使其可以成功地部署并运行在资源受限的边缘设备上，需要对模型压缩方法进行进一步的改进，保证不仅能够实现压缩模型的大小，减少边缘端数据量以及传感器的使用个数，提升边缘端的整体性能和部署模型的数量，还能进一步地降低数据传输的成本，节省网络带块和资源存储压力。另外，当前并没有一套成熟的服务于边缘端的模型压缩系统能够满足个性化和智能化的需求。

发明内容

针对上述现有技术的不足，本发明提供一种基于输入修剪的边缘端DNN模型加载系统及方法。

为解决上述技术问题，本发明所采取的技术方案是：一种基于输入修剪的边缘端DNN模型加载系统，系统包括管理模块和压缩模块；

所述管理模块包括样本管理模块、模型训练模块和模型管理模块；

所述样本管理模块用于收集数据构建样本，将样本作为训练模型的输入数据；

所述样本为边缘设备收集到的数据，并对数据进行处理整合，具体包括：将收集到的数据进行缺失值补全、归一化操作，并存储到文件中，之后进一步将这些数据的描述信息以及文件存储路径保存到数据库中。

所述模型训练模块根据构建好的样本对模型进行训练；