[发明专利]数据处理方法、装置、电子设备和存储介质在审
申请号: | 202110352246.5 | 申请日: | 2021-03-31 |
公开(公告)号: | CN113094171A | 公开(公告)日: | 2021-07-09 |
发明(设计)人: | 林涛 | 申请(专利权)人: | 北京达佳互联信息技术有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;G06N3/063;G06N3/08 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 陈蕾 |
地址: | 100085 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 电子设备 存储 介质 | ||
1.一种数据处理方法,应用于参数服务器集群;所述参数服务器集群用于为深度神经网络训练服务器提供训练参数,所述方法包括:
接收所述深度神经网络训练服务器发送的参数调用请求;
对所述参数调用请求中指示的特征向量集合执行池化计算;
将池化计算的结果作为训练参数发送至所述深度神经网络训练服务器。
2.根据权利要求1所述的方法,所述方法还包括:
基于预设的负载均衡策略,确定所述参数服务器集群中的各参数服务器,与所述参数服务器集群维护的各特征向量集合的对应关系;
基于确定出的所述对应关系,将所述各特征向量集合分别调度至对应的参数服务器中。
3.根据权利要求2所述的方法,所述方法还包括:
将所述对应关系发送至所述深度神经网络训练服务器,以使所述深度神经网络训练服务器基于所述对应关系,将指示目标特征向量集合的参数调用请求发送至与所述目标特征向量集合对应的目标参数服务器。
4.根据权利要求2所述的方法,其特征在于:
所述基于预设的负载均衡策略,确定所述参数服务器集群中的各参数服务器,与所述参数服务器集群维护的各特征向量集合的对应关系,包括:
获取所述参数服务器集群维护的、未分配至参数服务器的各特征向量集合对应的第一类权重值,以及各参数服务器中已存储的特征向量集合对应的第二类权重值;
根据各参数服务器的理论负载上限和所述第二类权重值确定各参数服务器的理论负载余量;
应用背包算法,将各参数服务器的理论负载余量作为背包容量,将未分配至参数服务器的各特征向量集合作为待分配物品,将所述第一类权重值作为待分配物品占用背包的体积,确定各参数服务器与未分配至参数服务器的各特征向量集合的对应关系。
5.根据权利要求4所述的方法,所述各参数服务器的理论负载上限基于所述第一类权重值之和,与参数服务器的数量确定。
6.根据权利要求4所述的方法,所述特征向量集合对应的权重值包括:
与特征向量集合中特征向量的数量正相关的第一指标。
7.一种数据处理装置,应用于参数服务器集群;所述参数服务器集群用于为深度神经网络训练服务器提供训练参数,所述装置包括:
接收模块,被配置为接收所述深度神经网络训练服务器发送的参数调用请求;
计算模块,被配置为对所述参数调用请求中指示的特征向量集合执行池化计算;
第一发送模块,被配置为将池化计算的结果作为训练参数发送至所述深度神经网络训练服务器。
8.一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1~6中任一项所述的数据处理方法。
9.一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1~6中任一项所述的数据处理方法。
10.一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现权利要求1~6中任一项所述的数据处理方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京达佳互联信息技术有限公司,未经北京达佳互联信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110352246.5/1.html,转载请声明来源钻瓜专利网。