[发明专利]一种深度神经网络架构的自适应搜索方法和系统

权利要求书

1.一种深度神经网络架构的自适应搜索系统，所述系统应用于深度学习中，其特征在于，所述系统包括云端模块、多个终端设备；所述云端模块包括：终端调度模块、网络架构搜索模块、决策与聚合模块；

所述终端调度模块对所述终端设备进行分组，以得到不同的终端设备组；

所述网络架构搜索模块输入一个预训练的复杂模型架构，基于资源限制条件，通过结构化剪枝搜索到若干第一模型架构；

所述决策与聚合模块将搜索到的第一模型架构发送至对应的终端设备组；同一终端设备组的不同终端设备接收到的第一模型架构相同；

所述决策与聚合模块基于动态训练策略，控制所有终端设备，对接收到的第一模型架构执行短期训练测试任务，完成训练任务后，得到所有终端设备相对应的第二模型架构；

所述决策与聚合模块将聚合同一终端设备组的不同终端设备的第二模型架构，得到所有终端设备组的不同融合模型架构；

根据所述所有终端设备组的融合模型架构的准确率，得到系统的优选模型架构；

所述系统的优选模型架构满足所述资源限制条件，则根据模型实际资源消耗，更新所述资源限制条件，进行新一轮的所述优选模型架构搜索的全局迭代任务；

所述优选模型架构不满足所述资源限制条件，则停止系统迭代；

针对每一轮得到的所述优选模型架构，进行长期训练，以得到相应资源限制下的最优模型架构。

2.根据权利要求1所述的系统，其特征在于，所述终端调度模块对所述终端设备进行分组，以得到不同的终端设备组，还包括：

所述终端调度模块基于终端设备属性，对所述终端设备进行分组，以得到不同的终端设备组；

其中，所述终端设备属性包括所述终端设备的数据量、所述终端设备的数据分布、所述终端设备的工作状态。

3.根据权利要求2所述的系统，其特征在于，所述终端调度模块基于终端设备属性，对所述终端设备进行分组，以得到不同的终端设备组，包括：

所述终端设备统计所述终端设备属性；

所述终端设备将所述终端设备属性上传至所述终端调度模块；

所述终端调度模块根据上传的所述终端设备属性，对终端设备进行分组，每个终端设备分组数据总量保持均衡、每个终端设备分组的数据分布均衡。

4.根据权利要求1所述的系统，其特征在于，所述网络架构搜索模块输入一个预训练的复杂模型架构，基于资源限制条件，通过结构化剪枝搜索到若干第一模型架构，还包括：

所述网络架构搜索模块是迭代式的，在所述全局迭代任务中将资源限制条件分解为若干个逐渐收紧的资源约束，基于所述资源约束进行结构化剪枝搜索。

5.根据权利要求1所述的系统，其特征在于，所述决策与聚合模块基于动态训练策略，控制所有终端设备，对接收到的第一模型架构执行短期训练测试任务，完成训练任务后，得到所有终端设备相对应的第二模型架构，包括：

所述决策与聚合模块基于动态训练策略，控制所有终端设备，对接收到的第一模型架构执行短期训练测试任务；

所述动态训练策略包括动态的云端轮数设置和提前剪枝掉队备选模型；

所述短期训练测试任务完成后，获得所有终端设备相对应的第二模型架构；

其中，所述云端轮数为所述决策与聚合模块聚合同一终端设备组的不同终端设备的第二模型架构的次数；

其中，所述动态云端轮数设置包括所述第二模型架构在所述决策与聚合模块聚合的次数随着所述优选模型架构搜索的全局迭代次数动态变化；所述提前剪枝掉队备选模型包括所述第二模型架构在预设云端轮数后，相对于其他模型架构表现最差的部分模型，提前剪枝停止当前短期训练测试任务。