[发明专利]一种数据处理方法、装置、电子设备及可读存储介质

说明书

本申请公开了一种数据处理方法，为克服现有技术缺陷，本申请首先在保持整体仍为PS架构的基础上，将每个worker节点中各GPU的结构改为环状，以通过将每个worker节点的内部结构改为Ring‑allreduce架构来尽可能的缓解原PS架构存在的带宽瓶颈问题。同时，通过将原先仅有一级的PS节点调整为首次两级，并通过首级定期从次级中拉取一级迭代数据的方式尽可能的缓解了异步模式下存在的最优解丢失问题。待训练数据按照本申请提供的新式深度学习分布式训练架构依次进行处理，能够较好的解决上述现有技术缺陷，效果更佳。本申请还同时公开了一种数据处理装置、电子设备及可读存储介质，具有上述有益效果。

技术领域

本申请涉及数据处理领域，特别涉及一种数据处理方法、装置、电子设备及可读存储介质。

背景技术

随着信息技术的发展，人们不断追求着信息技术发展对日常生活带来的便利性。其中，人脸识别和语音识别技术作为新式身份识别机制，其以极大的便利性对传统身份识别机制带来了极大的冲击。但由于身份识别机制的重要性，现今的人脸识别和语言识别技术也存在一些漏洞，例如拿录音和人脸图像来骗过验证机制，修补这一漏洞的一个方向是增加验证时的特征判别数量和特征的代表性。

为了能够获取到数量更多的、更具有代表性的人脸图像特征和音频特征，深度神经网络独有的仿生物神经元的架构，使其能够挖掘出更多的特征和更深层次的潜在特征。为实现这一目的，深度神经网络首先需要通过大量的数据进行训练，从而让自己通过不断的学习具有更准确的分辨能力，训练过程也是构建一个实际可用的深度神经网络过程中最为耗时的步骤。为提升训练效率和缩短耗时，又结合了分布式架构形成了新的深度学习分布式训练架构。

但无论是现有的PS架构(Parameter Server Architecture，参数服务器架构)，还是Ring-allreduce的架构，均无法同时满足对深度学习分布式训练架构提出的更高要求：既能够在同步或异步模式下运行，又能够尽可能的缓解带宽瓶颈问题和异步模式下的非最优解问题。

因此，如何克服上述现有技术存在的技术缺陷，是本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种数据处理方法、装置、电子设备及可读存储介质，旨在提供一种新的深度学习分布式训练架构，能够在同步或异步模式下运行，又能够尽可能的缓解带宽瓶颈问题和异步模式下存在的非最优解问题。

为实现上述目的，本申请提供了一种数据处理方法，包括：

下发待训练数据给各worker节点；

控制各所述worker节点将接收到的待训练数据通过内含的至少三个GPU进行迭代训练，得到一级迭代结果；其中，每个所述worker节点包含的至少三个GPU之间形成环状链路；

控制各所述worker节点分别将各自的一级迭代结果发送给相对应的低级PS节点；其中，每个worker节点分别绑定于其中一个低级PS节点；

控制高级PS节点按周期从各所述次PS节点中获取各所述一级迭代结果；

控制所述高级PS节点对各所述一级迭代结果执行reduce操作，并输出经预设次数的更新和迭代操作得到的训练后数据。

可选的，当每个所述worker节点中内含3个GPU时，控制各所述worker节点将接收到的待训练数据通过内含的至少三个GPU进行迭代训练，包括：

控制各所述worker节点将接收到的待训练数据分三部分分别下发给第一GPU、第二GPU以及第三GPU；

控制所述第一GPU对接收到的数据进行处理，并控制所述第一GPU将得到的第一处理结果发送给第二GPU；

控制所述第二GPU对接收到的数据进行处理，并控制所述第二GPU将得到的第二处理结果发送给第三GPU；