[发明专利]数据处理方法、装置、电子设备和存储介质

说明书

本公开关于数据处理方法、装置、电子设备和存储介质，所述方法应用于参数服务器集群；所述参数服务器集群用于为深度神经网络训练服务器提供训练参数，所述方法包括：接收所述深度神经网络训练服务器发送的参数调用请求；对所述参数调用请求中指示的特征向量集合执行池化计算；将池化计算的结果作为训练参数发送至所述深度神经网络训练服务器。应用上述方案，可以提高深度神经网络训练的速度，并降低深度神经网络训练服务器的处理负担。

技术领域

本公开涉及计算机应用领域，尤其涉及数据处理方法、装置、电子设备和存储介质。

背景技术

深度神经网络(Deep Neural Networks，DNN)通常指有多个隐藏层的神经网络，够为复杂非线性系统提供建模，相对于浅层神经网络，深层神经网络提供了更高的抽象层次，但也带来了更大的训练难度。为了加快深度神经网络模型的训练，人们通常需要使用大规模的参数服务器集群来为深度神经网络模型的训练过程提供巨量的参数；但在实际训练过程中，每一台参数服务器的网络接口的带宽是有限的，达到网络带宽瓶颈后，深度神经网络模型的训练速度就有可能因为等待参数输入而降低。

相关技术中，人们可以通过直接增加参数服务器数量的方式，增加整个参数服务器集群的参数吞吐量，从而支持更高速的深度神经网络训练过程；但是在采用上述方案的情况下，随着参数服务器数量的增加，由于单个参数服务器的异常而拖慢整个训练过程的概率也会随之增加，最终无法取得预期的加速效果。

发明内容

有鉴于此，本公开提供了数据处理方法、装置、电子设备和存储介质，以至少解决相关技术中的技术问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提出了一种数据处理方法，应用于参数服务器集群；所述参数服务器集群用于为深度神经网络训练服务器提供训练参数，所述方法包括：

接收所述深度神经网络训练服务器发送的参数调用请求；

对所述参数调用请求中指示的特征向量集合执行池化计算；

将池化计算的结果作为训练参数发送至所述深度神经网络训练服务器。

可选的，所述方法还包括：

基于预设的负载均衡策略，确定所述参数服务器集群中的各参数服务器，与所述参数服务器集群维护的各特征向量集合的对应关系；

基于确定出的所述对应关系，将所述各特征向量集合分别调度至对应的参数服务器中。

可选的，所述方法还包括：

将所述对应关系发送至所述深度神经网络训练服务器，以使所述深度神经网络训练服务器基于所述对应关系，将指示目标特征向量集合的参数调用请求发送至与所述目标特征向量集合对应的目标参数服务器。

可选的，所述基于预设的负载均衡策略，确定所述参数服务器集群中的各参数服务器，与所述参数服务器集群维护的各特征向量集合的对应关系，包括：

获取所述参数服务器集群维护的、未分配至参数服务器的各特征向量集合对应的第一类权重值，以及各参数服务器中已存储的特征向量集合对应的第二类权重值；

根据各参数服务器的理论负载上限和所述第二类权重值确定各参数服务器的理论负载余量；

应用背包算法，将各参数服务器的理论负载余量作为背包容量，将未分配至参数服务器的各特征向量集合作为待分配物品，将所述第一类权重值作为待分配物品占用背包的体积，确定各参数服务器与未分配至参数服务器的各特征向量集合的对应关系。

可选的，所述各参数服务器的理论负载容量上限基于所述第一类权重值之和，与参数服务器的数量确定。

可选的，所述特征向量集合对应的权重值包括：