[发明专利]一种应用于边缘设备的模型训练方法及系统

说明书

本发明公开了一种应用于边缘设备的模型训练方法及系统，属于模型压缩和迁移学习领域，包括：在边缘设备中加载预训练好的原模型，并识别出其中由Point‑wise卷积层、Depth‑wise卷积层和Point‑wise卷积层依次连接构成的残差块；在残差块的基础上加入对应的轻架构，以将原模型转换为目标模型；轻架构由Group‑wise卷积层和Point‑wise卷积层组成；利用目标任务数据集对目标模型进行训练，并通过两步压缩的方式先后对目标模型中的共享参数和非共享参数进行压缩，从而完成对目标模型的训练和压缩；两步压缩为常规的两步压缩、基于激活值的两步压缩或基于压缩训练的两步压缩。本发明能够提高边缘设备中模型训练效率，并减少模型训练过程以及推理过程中占用的存储空间和计算复杂度。

技术领域

本发明属于模型压缩和迁移学习领域，更具体地，涉及一种应用于边缘设备的模型训练方法及系统。

背景技术

随着智能化的普及，个人的智能设备大部分时间都处于闲置状态。将训练任务从云端迁移到边缘上可以充分利用边缘设备的算力。边缘上的数据量远少于云端，训练模型所需时间通常不会很长。减少需要上传的数据，训练效率也能得到提高。同时个人敏感数据不用再上传到云端，隐私问题能够很好的得到解决。

边缘设备上的存储和计算资源是有限的，如何在资源受限的设备上有效的训练神经网络模型需要解决二个问题：其一是，硬件的发展速度不再遵循摩尔定律，逐渐趋于平缓，而模型大小以及数据规模却在持续增长；为了减轻云的计算负载，训练需要从云平台转移到边缘平台，而个人闲置设备(边缘设备)硬件资源相较于云更少，因此需要解决在资源受限的边缘设备上不能训练日益增大的模型的问题。其二则是，在边缘设备上，数据的分布以及种类较为贫瘠，而模型要取得好的效果一般需要较多的数据用来训练，所以需要解决在边缘设备上模型效果不好的问题。

针对问题一，可以利用模型压缩技术对现有的效果好的模型进行压缩，将参数量庞大且冗余的模型架构压缩成参数量少且精巧的模型架构，使得压缩后的模型能够在边缘设备上进行训练。目前模型压缩算法主要有：模型量化、模型剪枝(或模型稀疏化)以及模型结构设计三种方法。

针对问题二，迁移学习是一个很好的解决方案。迁移学习可以帮助提升模型效果，模型首先在较大的数据集上进行训练，然后将训练好的模型迁移到较小的数据集进行再训练(通常只需要微调)，最后达成提升模型训练效果的目的。如在ImageNet上训练后的模型再迁移到小数据集如CIFAR-10效果通常会更好。迁移学习的方法主要由基于数据的方法和基于模型的方法两大类所组成。

基于数据的迁移学习方法专注于调整和转化数据，然后将修正后的数据作用于模型。基于模型的迁移学习，认为模型在训练阶段可以通过一些控制策略来提升训练效果，控制策略主要有模型控制策略和参数控制策略。模型控制策略主要思想是，在源数据集训练过的模型可以帮助目标模型在目标数据集的进行训练。参数控制策略关注的对象主要是模型的参数。

因此研究如何在资源受限的设备上有效的训练神经网络模型，以有效解决大模型在边缘设备上训练效率差和无法训练(训练内存不足)的问题，对人工智能的发展具有重要的意义。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种应用于边缘设备的模型训练方法及系统，旨在解决大模型在资源受限的边缘设备上训练效率差和无法训练的问题。

为实现上述目的，按照本发明的一个方面，提供了一种应用于边缘设备的模型训练方法，包括：

在边缘设备中加载预训练好的原模型，并识别出其中由Point-wise卷积层、Depth-wise卷积层和Point-wise卷积层依次连接构成的残差块；在残差块的基础上加入对应的轻架构，以将原模型转换为目标模型；轻架构包括相连接的Group-wise卷积层和Point-wise卷积层；

利用目标任务数据集对目标模型进行训练，并通过两步压缩的方式对先后对目标模型中的共享参数和非共享参数进行压缩，从而完成对目标模型的训练和压缩；