[发明专利]神经网络训练方法、装置、电子设备及可读存储介质

说明书

本公开实施例公开了一种神经网络训练方法、装置、电子设备和可读存储介质，该方法包括：给多个服务器上的神经网络赋予相同的参数值；每个服务器使用所述服务器的本地节点的特征数据训练所述神经网络，在所述训练过程中，至少一个服务器从其他服务器获取所述其他服务器在所述训练过程中产生的数据，其中，所述本地节点是图结构数据中被划分到所述服务器的节点；根据所述多个服务器的训练结果，更新所述多个服务器上的神经网络的参数值。

技术领域

本公开涉及计算机技术领域，具体涉及一种神经网络训练方法、装置、电子设备及可读存储介质。

背景技术

图结构数据可以表示数据间的关联性，例如可以用于描述路网、社交关系网络等数据节点之间具有关联的数据集合。图神经网络等基于图结构数据的深度学习方法在很多领域取得了非常好的效果。在图结构数据中，图的各个节点表示相应的数据对象，节点之间的边表示节点之间具有关联关系。例如，在路网图中，节点可以表示具体的地点，边可以表示地点之间的路径。在社交网络图中，节点可以表示人，边可以表示人之间的关系。

在实际生产应用中，图结构数据的规模可能非常巨大，点和边可能达到数亿甚至数十亿以上。通常情况下，一台服务器不足以进行存储和计算如此大规模的数据。

目前，实现大规模图神经网络训练的方法大多通过先采样后训练的方式，将大图采样得到一个单台服务器能够存储和计算的子图，再对图神经网络进行训练。这种方式虽然能够很好地解决大图训练的资源不足以及效率过低问题，但是由于数据采样过程中存在节点和边丢失的问题，因此仍然存在模型训练准确度不足以及参数收敛周期增加等问题。

发明内容

为了解决相关技术中的问题，本公开实施例提供一种神经网络训练方法、装置、电子设备及可读存储介质。

第一方面，本公开实施例中提供了一种神经网络训练方法，包括：

给多个服务器上的神经网络赋予相同的参数值；

每个服务器使用所述服务器的本地节点的特征数据训练所述神经网络，在所述训练过程中，至少一个服务器从其他服务器获取所述其他服务器在所述训练过程中产生的数据，其中，所述本地节点是图结构数据中被划分到所述服务器的节点；

根据所述多个服务器的训练结果，更新所述多个服务器上的神经网络的参数值。

结合第一方面，本公开在第一方面的第一种实现方式中，所述方法还包括：

将图结构数据中的多个节点划分为分别对应于所述多个服务器的多个不相交的节点子集，每个服务器所对应的节点子集中的节点是所述服务器的本地节点。

结合第一方面的第一种实现方式，本公开在第一方面的第二种实现方式中，在所述图结构数据中，所述外部节点是通过边与所述本地节点相连的节点。

结合第一方面，本公开在第一方面的第三种实现方式中：所述训练过程包括正向传播过程和反向传播过程；

所述在所述训练过程中产生的数据，包括在正向传播过程中获得的正向传播中间结果和在反向传播过程中获得的与正向传播中间结果相对应的梯度。

结合第一方面的第三种实现方式，本公开在第一方面的第四种实现方式中，每个服务器使用所述服务器的本地节点的特征数据训练所述神经网络，包括：

每个服务器使用所述服务器的本地节点的特征数据，通过所述神经网络的正向传播计算本地节点的损失数据，其中，当计算所述损失数据需要所述服务器的外部节点的特征数据和/或所述外部节点的正向传播中间结果时，所述服务器从所述多个服务器中以所述外部节点作为本地节点的其他服务器获取所述外部节点的特征数据和/或所述外部节点的正向传播中间结果，所述外部节点是与所述本地节点之间有关联且不属于所述本地节点的集合的节点，所述外部节点的正向传播中间结果是所述其他服务器使用所述外部节点的特征数据通过所述神经网络进行正向传播计算得到的；