[发明专利]使用分层表示进行神经网络体系结构搜索

说明书

一种用于自动确定神经网络体系结构的计算机实现的方法将神经网络体系结构表示为在多个层级中定义有向非循环分层图形集合的数据结构。每个图形都有输入、输出以及输入和输出之间的多个节点。在每一层级，对应的节点集合通过有向边成对连接，有向边指示对一个节点的输出执行的操作，以生成对另一个节点的输入。每个层级与对应的操作集合相关联。在最低层级，与每个边相关联的操作是从原语操作集合中选择的。该方法包括重复生成新的样本神经网络体系结构，并评估它们的适应度。修改是通过选择层级、在该层级选择两个节点、以及根据与分层结构的更低层级相关联的操作来修改、移除或添加这些节点之间的边来执行的。

背景技术

本说明书涉及用于自动确定神经网络体系结构的系统和方法。

神经网络是采用一层或多层非线性单元来预测接收到的输入的输出的机器学习模型。一些神经网络除了输出层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作网络中下一层(即下一隐藏层或输出层)的输入。网络的每一层根据相应参数集的当前值从接收的输入生成输出。

一些神经网络是递归神经网络。递归神经网络是接收输入序列并从输入序列生成输出序列的神经网络。特别地，递归神经网络可以使用来自前一时间步(time step)的网络的内部状态中的一些或全部内部状态来计算当前时间步的输出。递归神经网络的示例是长短期记忆(long short term memory，LSTM)神经网络，其中LSTM神经网络包括一个或多个LSTM记忆块。每个LSTM记忆块可以包括一个或多个单元，每个单元包括输入门、遗忘门和输出门，其允许该单元存储该单元的先前状态，例如用于生成当前激活或提供给LSTM神经网络的其他组件。

发明内容

本说明书描述了一种确定神经网络体系结构的系统和方法，其被实现为一个或多个位置中的一个或多个计算机上的一个或多个计算机程序。神经网络体系结构例如可以是卷积和/或递归神经网络的体系结构。

包括对应于所确定的神经网络体系结构的神经网络的神经网络系统可以被配置为接收任何种类的数字数据输入，并基于该输入生成任何种类的得分、分类或回归输出。例如，它可以是被配置为对输入数据(例如由传感器捕获并表征真实世界的数据项)进行分类的神经网络系统。例如，数据项可以是图像(诸如由相机捕获的图像)或者声音信号(诸如由麦克风捕获的声音信号)。神经网络系统可以通过基于由传感器数据的实例(例如，传感器数据(诸如由相机捕获的图像)的真实世界实例；但是原则上可以模拟传感器数据的实例中的一些或所有)以及指示传感器数据的实例与预定类别集合中的一个相关联的对应标签。可以通过将由传感器捕获的真实世界的传感器数据输入到神经网络系统中来使用经训练的神经网络系统，并且获得对应的标签作为神经网络系统的输出，指示输入的传感器数据与类别之一相关联。

可替换地，神经网络系统可以被配置为处理输入数据序列(诸如字或数据项序列)，或者它可以是生成神经网络系统(generative neural network system)的一部分，或者它可以是强化学习系统的一部分，在这种情况下，它可以生成标识要由智能体(agent)(可以例如是机器人)执行的动作的输出。

总的来说，本公开提出了一种用于自动确定神经网络体系结构的计算机实现的方法，该神经网络体系结构以定义分层的有向非循环图形(directed acyclic graph)集合的数据结构表示任何给定的神经网络体系结构。每个图形具有输入、输出以及输入和输出之间的多个节点。