[发明专利]一种深度神经网络架构的自适应搜索方法和系统

说明书

本发明提供了一种深度神经网络架构的自适应搜索方法和系统，旨在保护数据隐私的前提下，降低计算开销和通信开销，实现深度学习从云端分载到终端，提高终端参与效率。所述方法包括：终端调度模块根据终端属性对终端分组；网络架构搜索模块搜索到若干模型架构；决策与聚合模块基于动态训练策略，控制终端组对模型架构进行短期训练测试；根据融合模型架构准确率，得到优选模型架构；优选模型架构满足资源限制，则更新资源限制，进行新一轮迭代，不满足资源限制，则停止迭代；对每轮获得的优选模型架构，进行长期训练，得到每轮对应资源限制下最优模型架构。

技术领域

本发明涉及深度学习领域，特别是涉及一种深度神经网络架构的自适应搜索方法和系统。

背景技术

深度学习是机器学习的一种，目的在于建立模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本等。

目前，深度学习技术在移动端的多个不同领域落地，包括照片美化、输入法预测、购物推荐、语音识别等等，扩展了应用的服务功能，大大提升了用户体验，成为很多应用必不可少的组成部分。另一方面，移动场景也是深度学习现在非常重要的应用平台，很多深度学习技术得以在移动平台上体现价值。

然而，现在传统的深度学习模型，往往向着更加复杂、更加高运算量的方向发展，经典的卷积神经网络模型体积可达上百MB，一次推理运算量达到10⁹级别。这些大模型由于受到资源限制的诸多约束，包括电池电量较小、计算资源有限、存储空间不足、网络带宽限制等，而不能直接运行于终端。同时，精准复杂的深度学习模型，依赖海量的真实数据参与训练调优，这往往需要大规模、甚至跨领域地采集用户私人敏感数据上传到云端被处理和使用，带来潜在泄露隐私风险。

发明内容

本发明所要解决的技术问题是提供一种深度神经网络架构的自适应搜索方法和系统，以解决现有技术中资源限制导致网络架构不能直接运行于终端中进行深度学习。

为了解决上述问题，本发明实施例第一方面提供一种深度神经网络架构的自适应搜索系统，包括云端模块、多个终端设备；所述云端模块包括：终端调度模块、网络架构搜索模块、决策与聚合模块；

所述终端调度模块对所述终端设备进行分组，以得到不同的终端设备组；

所述网络架构搜索模块输入一个预训练的复杂模型架构，基于资源限制条件，通过结构化剪枝搜索到若干第一模型架构；

所述决策与聚合模块将搜索到的第一模型架构发送至对应的终端设备组；同一终端设备组的不同终端设备接收到的第一模型架构相同；

所述决策与聚合模块基于动态训练策略，控制所有终端设备，对接收到的第一模型架构执行短期训练测试任务，完成训练任务后，得到所有终端设备相对应的第二模型架构；

所述决策与聚合模块将聚合同一终端设备组的不同终端设备的第二模型架构，得到所有终端设备组的不同融合模型架构；

根据所述所有终端设备组的融合模型架构的准确率，得到系统的优选模型架构；

所述系统的优选模型架构满足所述资源限制条件，则根据模型实际资源消耗，更新所述资源限制条件，进行新一轮的所述优选模型架构搜索的全局迭代任务；

所述优选模型架构不满足所述资源限制条件，则停止系统迭代；

针对每一轮得到的所述优选模型架构，进行长期训练，以得到相应资源限制下的最优模型架构。

可选地，所述终端调度模块对所述终端设备进行分组，以得到不同的终端设备组，还包括：

所述终端调度模块基于终端设备属性，对所述终端设备进行分组，以得到不同的终端设备组；

其中，所述终端设备属性包括所述终端设备的数据量、所述终端设备的数据分布、所述终端设备的工作状态。