[发明专利]用于优化机器学习架构的框架

权利要求书

1.一种用于标识机器学习（ML）架构的设备，所述设备包括：

种群初始化器，所述种群初始化器配置成基于ML配置来初始化候选ML架构的集合；

连接到所述种群初始化器的架构搜索类型引擎，所述架构搜索类型引擎配置成确定用于搜索初始化种群的搜索策略；

连接到所述架构搜索类型引擎的多目标候选生成器（MOCG），所述MOCG配置成：

根据所述搜索策略来搜索候选ML架构的经初始化集合，并且

基于所述搜索，从候选ML架构的所述集合中确定最优ML架构的集合，最优ML架构的所述集合满足在所述ML配置中包括以下项中的一项或多项：ML参数的集合和硬件平台信息（HPI）；以及

连接到所述MOCG的性能度量评估器，所述性能度量评估器配置成评估最优ML架构的所述集合中的每个最优ML架构的性能。

2. 如权利要求1所述的设备，其中，所述ML配置包括超网络，并且候选ML架构的所述集合包括子网络，其中所述子网络相比所述超网络具有更少的参数，并且其中，所述种群初始化器配置成操作热启动机制以：

基于所述ML参数来分析先前被找到为最优ML架构的ML架构的特性；以及

基于所分析的特性来初始化候选ML架构的所述集合。

3.如权利要求2所述的设备，其中，所述热启动机制是通知式热启动机制，并且所述种群初始化器配置成：

使用来自一个或多个先前生成的最优ML架构的信息来生成候选ML架构的所述集合，所述先前生成的最优ML架构是被确定为解决由所述ML配置所指示的相同或相似ML任务、与由所述ML配置所指示的相同或相似ML领域相关联、并且与由所述HPI所指示的相同或相似硬件平台相关联的ML架构中的一个或多个ML架构。

4.如权利要求2所述的设备，其中，所述热启动机制是启发式热启动机制，并且所述种群初始化器配置成：

使用从至少一个先前生成的最优ML架构导出的一个或多个启发法来生成候选ML架构的所述集合，所述一个或多个启发法指示所述至少一个先前生成的最优ML架构的各个ML参数之间的关系。

5. 如权利要求1所述的设备，其中：

所述搜索策略是约束式搜索策略，并且对候选ML架构的经初始化集合的所述搜索基于候选ML架构的经初始化集合中的所述候选ML架构的两个或ML参数之间的一个或多个约束；或者

所述搜索策略是全搜索策略，并且对候选ML架构的经初始化集合的所述搜索是对候选ML架构的所述集合的整体的搜索。

6.如权利要求1-5中任一项所述的设备，其中，为了确定最优ML架构的所述集合，所述MOCG配置成操作一个或多个优化算法来解决多目标优化问题。

7.如权利要求6所述的设备，其中，所述一个或多个优化算法包括以下项中的一项或多项：网格搜索、随机搜索、贝叶斯优化、进化型算法、树形结构Parzen估计器、和用户定义的优化算法，并且所述进化型算法是强度Pareto进化型算法2（SPEA-2）或非支配排序遗传算法-II。

8.如权利要求1-9中任一项所述的设备，其中，为了生成最优ML架构的所述集合，所述MOCG配置成将最优ML架构的所述集合确定为Pareto最优解的集合。

9.如权利要求8所述的设备，其中，所述MOCG配置成：

对于优化迭代的集合中的每个优化迭代，在达到收敛之前，

对候选ML架构的所述集合中的每个候选ML架构进行排名；

执行拥挤距离排序机制，以从候选ML架构的经排名集合中选择各个候选ML架构；以及

将所选择的各个候选ML架构携带到下一次优化迭代中。

10. 如权利要求1-5中任一项所述的设备，其中，所述性能度量评估器配置成：

使用测试数据集来操作每个最优ML架构；以及

基于最优ML架构的所述集合中的相应最优ML架构的所述操作来测量一个或多个性能度量。