[发明专利]一种基于移动设备的在线稀疏训练方法及系统

说明书

本发明涉及一种基于移动设备的在线稀疏训练方法及系统。该方法包括：在云端对神经网络模型进行结构化剪枝，得到稀疏神经网络模型；对所述稀疏神经网络模型进行编码，得到编码后的神经网络模型；所述编码后的神经网络模型包括数据部分和控制部分，所述数据部分为所述稀疏神经网络模型中非零滤波器，所述控制部分用于记录所述稀疏神经网络模型的稀疏数据；在端侧移动设备上对所述编码后的神经网络模型进行稀疏训练。本发明可以提高移动设备数据处理的精度，提高移动设备端的性能。

技术领域

本发明涉及移动设备数据处理领域，特别是涉及一种基于移动设备的在线稀疏训练方法及系统。

背景技术

目前神经网络部署应用模式为“云端训练，端侧推理”，即在云端的大数据集上训练一个高性能的神经网络，直接部署到边缘端，在边缘端的数据集上做推理，部署到边缘端侧的神经网络结构固定，参数不会更新。云端是指计算与存储资源非常丰富的场景，如服务器集群，数据中心等。端侧是指在一些边缘场景中的移动设备，比如手机，物联网中相关节点等。

此应用模式的优势在于神经网络边缘端部署成本较低，缺点则是神经网络在边缘端性能较差。主要原因是端侧现实物理世界的数据与云端数据集数据分布存在不同。图1中模拟了此类数据分布不同的情况，如图1所示，显然，手写识别数据集(a)和(b)的手写风格是有差别的，此类数据分布会导致在数据集(b)上训练得到的神经网络模型直接推理数据集(a)时性能较差。相同的情况完全有可能发生在“云端训练，端侧推理”模式中。出于隐私安全等考虑，边缘端用户不愿意将自己的真实数据上传到云端训练，这进一步导致云端训练出来的神经网络在边缘端数据集上应用推理时，数据处理精度差，效果无法达到预期。所以直接在边缘端设备上利用边缘端数据集对神经网络进行训练以解决隐私与神经网络性能问题成为一种可行的方案。

神经网络框架是一类支持神经网络算法的科学计算框架，其中提供了一系列神经网络计算所需用到的API。深度学习开发者可根据框架内部API训练与测试自己的神经网络模型，减少开发成本。此类框架往往还支持多种机器学习与深度学习算法，其中神经网络为其主要关注内容。当前深度学习框架呈现出百花齐放的状态，图2中列举了一些常见的神经网络框架，根据其计算图的生成方式分为两类：基于动态图的与基于静态图的。其中基于静态图的框架要求在执行运算前先行定义计算图。动态图在每次执行运算前，都会重构一个计算图。在支持静态图的框架，如TensorFlow、MXNet，是通过先定义后运算的方式，在继续运行之前的计算图的时候，不需要再次进行重构。从理论上讲，静态计算这样的机制允许编译器进行更大程度的优化。但由于开发者所期望的程序与实际程序的执行之间存在着代沟，代码中漏洞也难以被发现。同时，在静态图中，计算图无法改变，因此在计算过程中，很难实现计算过程的动态调整。支持动态图的框架，如PyTorch，会按照开发者编写的顺序执行命令。这大幅降低了开发者调试的成本。同时在计算过程中，也可以根据计算的结果动态调整后续的计算流程。因此，现有的神经网络框架中，在针对移动端的训练方面，支持训练的通用深度学习框架往往对移动端支持较差。这些开发框架都面向数据中心，没有对移动端设备做优化，例如：没有为移动端的硬件(ARM、CPU、GPU等)实现算子，没有为移动端裁减运行时程序尺寸等。同时对移动端能提供较好支持的推理深度学习框架则不支持训练任务。这些端侧神经网络框架不支持结构化稀疏，导致在端侧的运行能耗高。同时这种方式在云端训练，在边缘端推理的方式在数据的隐私、延时性和模型的通用性都存在一定的局限。

发明内容

本发明的目的是提供一种基于移动设备的在线稀疏训练方法及系统，以提高移动设备数据处理的精度，提高移动设备端神经网络的性能。

为实现上述目的，本发明提供了如下方案：

一种基于移动设备的在线稀疏训练方法，包括：

在云端对神经网络模型进行结构化剪枝，得到稀疏神经网络模型；