[发明专利]深度神经网络的运算系统及运算方法

说明书

技术领域

本发明涉及运算结构领域，特别是涉及一种深度神经网络的运算系统及运算方法。

背景技术

目前，业内进行广告投放时，广泛使用了基于广告点击率预估的方法对广告进行排序。具体方法为，首先通过深度神经网络预估候选广告的点击率，即广告点击率预估值(pCTR，predicted click-through rate)，然后基于pCTR计算广告的质量度(Quality)，最后将广告按照出价(Bid)*Quality逆序排列并展现，出价越高且质量度越高的广告排序越靠前。在排序时遵循普遍二级价格拍卖(GSP，Generalized SecondPrice Auction)机制，该机制可以最大化搜索引擎的收益，达到GSP均衡。因此一个较好的深度神经网络的运算系统可以较为快速以及较为准确的获取广告点击率预估值。

如图1所示，图1为现有的深度神经网络的运算系统的结构示意图。该深度神经网络的运算系统10包括主服务器101、多个中心参数服务器102以及多个计算单元103。其中主服务器101负责训练任务的下发以及调度。多个中心参数服务器102具有计算模型的不同分片，用于通过网络将计算模型传输给相应的计算单元103、接收计算单元103上报的计算梯度，并将该计算梯度与相应的计算模型进行合并操作。多个计算单元103从中心参数服务器102获取最近的计算模型，分批处理计算模型的训练计算过程，并将计算出来的计算梯度上报至相应的中心参数服务器102。

上述运算系统10进行计算模型的参数训练时，将耗费大量的时间以及通信能力在计算模型的拉取、计算梯度的接收以及计算模型与计算梯度的合并操作上，这样导致网络通信的开销巨大，且对中心参数服务器102的要求较高。

发明内容

本发明实施例提供一种计算效率较高且网络通信开销较小的深度神经网络的运算系统及运算方法；以解决现有的深度神经网络的运算系统及运算方法的计算效率较低以及网络通信开销较大的技术问题。

本发明实施例提供一种深度神经网络的运算系统，其包括：

主服务器，用于将训练任务下发至计算模块，以及进行中心参数服务器的逻辑控制；

多个中心参数服务器，用于根据所述计算模块的传输请求，将计算模型传输至相应的计算模块；以及接收所述计算模块上报的计算梯度，并根据所述计算梯度对相应的所述计算模型进行更新操作；以及

多个所述计算模块，包括：

本地参数服务器，用于按计算周期，从所述中心参数服务器下载相应的所述计算模型，并将所述计算模型分发至各个计算单元；以及按所述计算周期，接收所述计算单元上报的计算梯度，并对所述计算梯度进行累加，以将累加后的计算梯度上传至所述中心参数服务器；以及

多个所述计算单元，用于根据所述训练任务生成相应的所述传输请求；根据所述计算模型进行训练计算，以得到相应计算梯度；以及将所述计算梯度上报至所述本地参数服务器。

本发明实施例还提供一种用于深度神经网络的运算系统的运算方法，其中所述运算系统包括主服务器、多个中心参数服务器以及多个计算模块；每个所述计算模块包括本地参数服务器以及多个计算单元；其中所述运算方法包括：

所述主服务器将训练任务下发至所述计算模块，所述计算模块根据所述训练任务生成传输请求；

所述中心参数服务器根据所述传输请求，将计算模型传输至相应的所述计算模块；

所述计算模块的所述本地参数服务器按计算周期，从所述中心参数服务器下载所述计算模型，并将所述计算模型分发至各个所述计算单元；

所述计算模块的所述计算单元根据所述计算模型进行训练计算，以得到相应的计算梯度，并将所述计算梯度上报至所述本地参数服务器；

所述本地参数服务器按所述计算周期，接收所述计算单元上报的计算梯度，并对所述计算梯度进行累加，以得到累加后的计算梯度；以及

所述中心参数服务器接收所述累加后的计算梯度，并根据所述累加后的计算梯度对相应的所述计算模型进行更新操作。

相较于现有技术的深度神经网络的运算系统及运算方法，本发明的深度神经网络的运算系统及运算方法通过设置本地参数服务器，提高了运算系统的计算效率，降低了运算系统的网络通信开销；解决了现有的深度神经网络的运算系统及运算方法的计算效率较低以及网络通信开销较大的技术问题。

附图说明

图1为现有的深度神经网络的运算系统的结构示意图。

图2为本发明的深度神经网络的运算系统的优选实施例的结构示意图；