[发明专利]一种数据处理方法、装置、电子设备及可读存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

下发待训练数据给各worker节点；

控制各所述worker节点将接收到的待训练数据通过内含的至少三个GPU进行迭代训练，得到第一迭代结果；其中，每个所述worker节点包含的至少三个GPU之间形成环状链路；

控制各所述worker节点分别将各自的一级迭代结果发送给相对应的低级PS节点，通过PS架构来实现梯度的汇总和再更新；其中，每个worker节点分别绑定于其中一个低级PS节点；

控制高级PS节点按周期从各所述次PS节点中获取各所述一级迭代结果；

控制所述高级PS节点对各所述一级迭代结果执行reduce操作，并输出经预设次数的更新和迭代操作得到的训练后数据；

每隔一段时间，对次PS节点上的多份参数进行一次聚合操作，将聚合后的多份参数reduce一次，得到最终的grad更新到高级PS节点，同时从高级PS节点获取最新参数更新次PS节点上的各份参数，用于后续训练。

2.根据权利要求1所述的数据处理方法，其特征在于，当每个所述worker节点中内含3个GPU时，控制各所述worker节点将接收到的待训练数据通过内含的至少三个GPU进行迭代训练，包括：

控制各所述worker节点将接收到的待训练数据分三部分分别下发给第一GPU、第二GPU以及第三GPU；

控制所述第一GPU对接收到的数据进行处理，并控制所述第一GPU将得到的第一处理结果发送给所述第二GPU；

控制所述第二GPU对接收到的数据进行处理，并控制所述第二GPU将得到的第二处理结果发送给所述第三GPU；

控制所述第三GPU对接收到的数据进行处理，并控制所述第三GPU将得到的一级迭代结果发送给所述第一GPU；

其中，所述第一GPU的输出端连接于所述第二GPU的输入端，所述第二GPU的输出端连接于所述第三GPU的输入端，所述第三GPU的输出端连接于所述第一GPU的输入端。

3.根据权利要求1所述的数据处理方法，其特征在于，控制高级PS节点按周期从各所述次PS节点中获取各所述一级迭代结果，包括：

控制所述高级PS节点每隔预设时长分别向每个所述次PS节点发起一级迭代结果查询请求；

控制每个所述次级PS节点将存储的一级迭代数据作为请求响应返回给所述高级PS节点。

4.根据权利要求1至3任一项所述的数据处理方法，其特征在于，还包括：

对所述训练后数据执行特征提取操作，得到各基准特征；

根据各所述基准特征生成分类判别器，以利用根据所述分类判别器对后续提取到的实际数据进行分类判别。

5.一种数据处理装置，其特征在于，包括：

待训练数据下发单元，用于下发待训练数据给各worker节点；

迭代训练单元，用于控制各所述worker节点将接收到的待训练数据通过内含的至少三个GPU进行迭代训练，得到一级迭代结果；其中，每个所述worker节点包含的至少三个GPU之间形成环状链路；

一级迭代结果上传单元，用于控制各所述worker节点分别将各自的一级迭代结果发送给相对应的低级PS节点，通过PS架构来实现梯度的汇总和再更新；其中，每个worker节点分别绑定于其中一个低级PS节点；

异步最优解等待单元，用于控制高级PS节点按周期从各所述次PS节点中获取各所述一级迭代结果；

reduce操作及输出单元，用于控制所述高级PS节点对各所述一级迭代结果执行reduce操作，并输出经预设次数的更新和迭代操作得到的训练后数据；

交互单元，用于每隔一段时间，对次PS节点上的多份参数进行一次聚合操作，将聚合后的多份参数reduce一次，得到最终的grad更新到高级PS节点，同时从高级PS节点获取最新参数更新次PS节点上的各份参数，用于后续训练。