[发明专利]神经架构搜索的系统和方法

说明书

公开了一种神经架构搜索的计算机实现的方法。实施例可以提供用于执行选定任务的神经网络(100)。获得计算图(200)，该计算图包括多个节点、边、以及与上述节点/边相关联的权重。计算图(200)包括计算图(200)的子图(301、302)形式的多个候选模型。顺序训练选定的子图，响应于训练更新与每个子图对应的权重。对于子图中与另一子图共享的每个权重，基于与该权重相关联的节点/边对另一子图的重要程度的指示控制(响应于训练该子图的)该权重的更新。

技术领域

本公开涉及神经架构搜索领域。特别地，本公开涉及用于设计神经网络的系统和方法。

背景技术

通过提供增强的计算能力和访问越来越多的适合的训练数据，机器学习技术已获得越来越多的应用，可为许多技术问题提供改进的解决方案。特别地，作为一种为许多此类技术问题提供简洁有效的解决方案的方法，神经网络的使用已越来越普遍。

神经网络通常具有包括多个互联神经元的结构。网络中的每个神经元被布置为接收输入数据，在提供某些输出数据之前，神经元对该接收数据进行缩放并对其执行函数。随后，该输出数据可以被馈入后续神经元，作为后续神经元的输入数据。然后，这些后续神经元同样可以在对数据执行进一步的函数之前对其进行缩放。可以对多个不同的神经元重复该过程，直到决定最后的输出。可以通过使用具有相应已知输出的输入数据对这些网络进行训练，其中，训练涉及对数据重复操作该网络以提供输出，并执行与该输出的比较。即，将一个输入数据的输出与该输入数据的已知输出进行比较。然后，可以基于上述比较的结果更新网络的权重(其影响输入数据的缩放)，使得网络“学习”在被提供给定的输入数据时提供正确的输出。通过使用合适的训练数据重复许多次该过程，研究表明，神经网络具有很强的普适接近能力(例如，神经网络可以解决其被训练的问题)。

神经网络存在大量不同的结构。例如，前馈神经网络(feedforward neuralnetwork)包括多层神经元。在前馈网络中，某一层中的神经元的输出被馈入下一层中的每个神经元，使得每个神经元从其上一层的神经元接收输入。神经网络的不同结构包括循环神经网络(recurrent neural network)，在循环神经网络中，上一层的输入也可以作为输入数据被馈入下一层。网络的另一类型是残差网络(residual network)，其具有与简单前馈网络相似的布置，除了该网络可以包括将从神经元或多层神经元的输出连接到除了下一层以外的层中的神经元的支(branch)。已经发现不同类型的网络对于解决某些类型的技术问题特别有效。因此，在设计神经网络时，基于网络旨在解决的问题选择一种网络类型可能会有所帮助。

虽然神经网络类型的选择可能对网络执行选定任务的整体能力有重要影响，但组成神经元类型的选择也可能对网络执行选定任务的能力产生重大影响。例如，由神经元的第一选择组成的训练良好的网络的性能可能不如具有不同的、更好的神经元选择的训练较差的网络。由于网络的训练可能非常耗时，因此最初选择合适的神经元可以大大减少为提供令人满意地执行选定任务的神经网络所花费的时间和资源。除了提高训练神经网络的效率之外，选择合适的神经元结构的能力可能会在提供可以解决技术问题的神经网络与不能解决技术问题的神经网络之间产生差异。

通过提供神经架构搜索系统和方法以提供用于解决选定技术问题或对选定技术问题作出贡献的神经网络，本公开的实施例可以解决这些和其他技术问题。

发明内容

本公开各方面在独立权利要求中阐述，可选的特征在从属权利要求中阐述。本发明的各方面可以相互结合提供，一个方面的特征可以应用于其他方面。

在一个方面，提供了一种神经架构搜索的计算机实现的方法，该神经架构搜索用以提供用于执行选定任务的神经网络。该方法包括以下步骤：