[发明专利]神经架构搜索的系统和方法

权利要求书

1.一种神经架构搜索的计算机实现的方法，所述神经架构搜索用以提供用于执行选定任务的神经网络，所述方法包括：

(i)获得计算图，所述计算图包括：通过多条边连接的多个节点、以及用于缩放沿边提供到节点的输入数据的多个权重，其中，每个节点用于：

从经由边连接至所述节点的前一节点接收至少一项输入数据；

对所述输入数据执行运算以提供输出数据，其中，每项输入数据根据与所述节点和/或边关联的权重进行缩放；以及

经由边向所述图中的后一节点提供所述输出数据；

其中，所述计算图定义第一候选模型和第二候选模型，每个候选模型为所述计算图中的子图，所述子图具有从所述多个节点、所述多条边、以及关联的所述多个权重中选取的节点、边、以及权重，其中，一些选取的节点、边、以及权重在所述第一模型和所述第二模型间共享；

(ii)基于训练所述第一模型执行所述选定任务，更新所述第一模型的所述权重；

(iii)基于训练所述第二模型执行与所述第一模型相同的所述选定任务，更新所述第二模型的所述权重，其中，更新所述第二模型的所述权重包括更新在步骤(ii)中更新的在所述第一模型和所述第二模型间共享的一些权重，并且其中，更新共享的所述权重基于与所述权重关联的节点和/或边对训练后的所述第一候选模型的重要程度的指示进行控制；

(iv)识别所述神经网络的优选模型，所述优选模型包括从所述计算图选取的节点、边、以及关联的权重，其中，所述优选模型基于对所述第一训练候选模型和第二训练候选模型的分析确定；以及

(v)基于所述优选模型提供用于执行所述选定任务的神经网络。

2.根据权利要求1所述的方法，其中，用于执行所述选定任务的所述神经网络包括用于以下至少之一的神经网络：(i)自然语言处理、(ii)图像识别、(iii)物理系统的分类和/或建模、(iv)数据处理、以及(v)搜索结果生成。

3.根据任一前述权利要求所述的方法，其中，对于每个共享的权重，重要程度的所述指示使用基于关于所述权重的选择的损失函数的梯度或高阶导数的测量而确定，例如，重要程度的所述指示使用所述权重的费雪信息的指示而确定。

4.根据权利要求3所述的方法，其中，基于重要程度的指示控制共享的所述权重的更新包括基于所述测量的值缩放所述更新的幅度，例如，基于所述权重的所述费雪信息的值缩放所述更新的幅度。

5.根据权利要求4所述的方法，其中，训练所述第二候选模型包括使用训练损失函数进行训练，所述训练损失函数包括指示所述第二模型中的权重的所述测量的分量，例如，指示所述第二模型中的权重的所述费雪信息的分量。

6.根据权利要求5所述的方法，其中，所述训练损失函数包括用于抑制与所述第二模型中的任一所述权重相关联的梯度爆炸的缩放因子，例如，其中，所述缩放因子包括所述权重的范数。

7.根据任一前述权利要求所述的方法，其中，在训练所述第二模型之前，基于所述第一模型的训练后的权重初始化所述第二模型的所述权重。

8.根据任一前述权利要求所述的方法，其中，识别所述神经网络的所述优选模型包括使用具有基于(i)强化学习以及(ii)进化学习中的至少之一的策略的控制器对所述第一候选模型和所述第二候选模型进行分析。