[发明专利]用于生成对象的结构化表示的图形神经网络系统

说明书

描述了一种用于生成图形的神经网络系统，该图形包括一组节点和边。该系统包括一个或多个神经网络，其被配置为表示节点生成决策和/或边生成决策的序列上的概率分布，以及一个或多个计算机，其被配置为对由一个或多个神经网络表示的概率分布进行采样以生成图形。

相关申请的交叉引用

本申请要求于2017年10月27日提交的第62/578,301号美国临时申请的优先权，该申请的全部内容通过引用整体结合于本文。

背景技术

本说明书涉及使用对象和实体(尤其是物理实体)的图形神经网络结构化表示的生成神经网络(generative neural network)系统。

神经网络是机器学习模型，其采用一个或多个层的线性单元来预测接收到的输入的输出。一些神经网络除了输出层之外，还包括一个或多个隐藏层。每个隐藏层的输出用作网络中下一层的输入，即下一个隐藏层或输出层。网络的每个层根据相应的一组参数的当前值从接收的输入生成输出。

一些神经网络是递归神经网络。递归神经网络是接收输入序列并从输入序列生成输出序列的神经网络。特别地，递归神经网络可以使用来自先前时间步长的网络的一些或全部内部状态来计算当前时间步长的输出。递归神经网络的示例是包括一个或多个LSTM(long short term，长短期)记忆块的长短期(LSTM)神经网络。每个LSTM记忆块可以包括一个或多个单元，每个单元包括的输入门、遗忘门和输出门，其允许该单元存储该单元的先前状态，例如，用于生成当前激活或提供给LSTM神经网络的其他组件。

一些神经网络表示包括由边连接的节点的图形结构；这些图形可以是多重图形(multigraphs)，其中节点可以由多个双向边连接。节点和边可以具有相关联的节点特征和边特征；这些可以使用节点函数和边函数来更新，其可以通过神经网络来实现。

发明内容

本说明书描述了在一个或多个位置的一个或多个计算机上实现为计算机程序的神经网络系统，该神经网络系统实现可以用于生成新图形的图形生成模型。图形结构可以用来表示许多不同类型的物理系统和实体。能够生成具有指定属性的任意图形的系统提供了能够解决涉及真实世界物理实体的许多技术问题的通用系统。例如，图形可以表示药物分子，并且该系统可以用于生成新的潜在可行的药物；图形可以表示计算机网络，并且该系统可以用于生成具有一定延迟、带宽和服务质量要求的计算机网络设计；图形可以表示运输网络，并且该系统可以用于生成高效的运输网络；图形可以表示计算机芯片(其中节点表示芯片组件或结构，并且边表示这些组件或结构之间的连接)，并且该系统可以用于生成具有较低延迟或较低功耗的芯片设计。在其他示例中，图形可以表示仓库布局，并且可以用于控制仓库中的机器人系统；图形可以表示制造的物品，并且可以用于控制机器人系统以组装、拆卸或修理该物品；图形可以表示物理位置，并且可以由诸如自主驾驶车辆的自动代理使用来导航。应当理解，对于生成的图形结构，存在许多其他技术应用。

通常，图形包括一组节点和连接两个节点的一组边。然而，对于图形来说，仅有没有边的未连接的节点是可能的，或者在特殊情况下，对于图形来说，可能没有节点也没有边。

图形的节点可以用于表示物理系统中的特定实体，并且可以具有基于实体类型的类型。例如，节点可以表示分子的特定原子，该原子是特定类型的化学元素。特征向量可以与节点相关联。特征向量可以表示节点的类型和由节点表示的实体的其他属性。

图形的边可以用来表示由边连接的两个节点之间的关系。例如，边可以表示两个原子之间的化学键，或者可以表示网络的两个节点之间的通信链路。边也可以具有关联的类型，例如，如果通信链路是有线或无线链路。特征向量可以与边相关联。特征向量可以表示边的类型和与边相关联的其他属性。边可以是有向的或无向的。可以使用一对具有相反方向的有向边来表示无向边。