[发明专利]一种数据处理方法、相关设备及系统

说明书

本发明实施例公开了一种数据处理方法、相关设备及系统，其中的方法应用于深度学习系统的第一中间节点，所述深度学习系统包括中间节点、子节点集合以及根节点，子节点集合包括至少一个子节点，该方法包括：第一中间节点接收下一跳节点集合发送的目标应用的第一变量数据，目标应用与第一中间节点对应，第一中间节点为深度学习系统中与根节点相连的任意一个中间节点，下一跳节点集合为子节点集合或下一跳中间节点集合；第一中间节点根据第一变量数据进行汇聚处理，得到第二变量数据；第一中间节点将第二变量数据发送给根节点，第二变量数据用于根节点进行汇聚处理，可以在一定程度上减少子节点上计算资源的浪费，提高计算效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法、相关设备及系统。

背景技术

目前，机器学习已成为信息技术行业发展的一大热点，以深度神经网络为代表的深度学习算法在近几年得到了长足进步和广泛应用。数据汇聚模式是深度学习算法计算中一种常用的变量同步模式。

如图1所示，多个子节点(worker)在进行一轮训练计算后，每个子节点会各自产生一份变量数据；子节点将变量数据传输给根节点(paramenter server，ps)，多份变量数据在一个根节点上汇聚为一份新的变量数据后，子节点再根据新的变量数据进行下一轮训练计算。

在数据汇聚模式中，网络传输对深度学习算法计算的效率有着决定性的影响。

当根节点侧的带宽较小时，会使得需在根节点上汇聚的变量数据，无法及时全部到达根节点。而根节点上的汇聚处理需要等待数据，因此，汇聚处理以及新的变量数据返回到子节点的传输被延迟。又由于子节点上的下一轮训练计算需要使用新的变量数据，因此下一轮计算也被延迟，导致子节点上计算资源的浪费，以及整个计算效率的下降。

发明内容

本申请所要解决的技术问题在于，解决如何在一定程度上减少子节点上计算资源的浪费，提高计算效率的问题。

第一方面，本申请提供了一种数据处理方法，应用于深度学习系统的第一中间节点，该深度学习系统包括中间节点、子节点集合以及根节点，该子节点集合中包括至少一个子节点。该数据处理方法可包括：第一中间节点接收下一跳节点集合发送的目标应用的第一变量数据，并根据该第一变量数据进行汇聚处理，得到第二变量数据，将该第二变量数据发送给根节点，以使该根据节点根据该第二变量数据进行汇聚处理。

其中，该第一中间节点与该目标应用相对应，该第一中间节点可被预先配置为对指定的目标应用的数据进行汇聚处理，其中，该目标应用为任意一个深度学习应用。该第一中间节点为深度学习系统中与该根节点相连的任意一个中间节点，该下一跳节点集合为该子节点集合或下一跳中间节点集合，该下一跳中间节点集合包括至少一个位于该第一中间节点的下一跳的中间节点。

可见，通过实施第一方面所提供的方法，在深度学习系统中设置中间节点，子节点先向中间节点发送关于目标应用的变量数据，由中间节点对变量数据进行汇聚处理后发送给根节点，可以减轻根节点的汇聚压力，提高计算的效率，同时，由于根节点的计算效率加快，也减少了子节点的等待数据的时间，从而加快了子节点的计算进程，避免了子节点上计算资源的浪费。

作为一种可行的实施方式，该第一中间节点接收下一跳节点集合发送的目标应用的第一变量数据之后，还可以识别该第一变量数据的身份标识，该身份标识可包括端口号和/或网络地址，并根据所述身份标识判断所述第一变量数据是否为该目标应用的变量数据，若是，则根据该目标应用的第一变量数据进行汇聚处理，得到第二变量数据。