[发明专利]神经网络训练方法、模型计算服务器及存储介质

权利要求书

1.一种神经网络训练方法，应用于模型计算服务器，所述模型计算服务器包括图形处理器以及中央处理器，其特征在于，所述方法包括：

所述中央处理器接收特征查询服务器发送的特征向量，所述特征向量为所述特征查询服务器根据多个业务数据样本的特征，从特征向量服务器中查询得到的与所述特征对应的特征向量；

所述中央处理器将所述特征向量传输至所述图形处理器；

所述图形处理器根据所述特征向量，计算神经网络的参数的梯度；

所述图形处理器将所述参数的梯度返回至所述中央处理器；

所述中央处理器根据所述梯度调节所述神经网络的参数，并对所述神经网络进行迭代训练，直到满足预定条件为止。

2.根据权利要求1所述的方法，其特征在于，所述图形处理器根据所述特征向量，计算所述神经网络的参数的梯度，包括：

所述图形处理器将所述特征向量输入至所述神经网络中，得到预测结果，所述预测结果表征预测出的用户对所述业务数据样本的行为；

所述图形处理器根据所述预测结果以及所述业务数据样本对应的标签数据，计算损失值；

所述图形处理器根据所述损失值，计算所述神经网络的参数的梯度。

3.根据权利要求2所述的方法，其特征在于，所述图形处理器将所述特征向量输入至所述神经网络中，得到预测结果，包括：

所述图形处理器将所述多个业务数据样本的所述特征向量分配至所述图形处理器的M个统一计算设备架构CUDA流中，其中，一个所述统一计算设备架构CUDA流中被分配有至少一个业务数据样本的所述特征向量，所述M个统一计算设备架构CUDA流与所述图形处理器的M个线程一一对应，M为正整数；

所述图形处理器针对每个所述统一计算设备架构CUDA流，利用所述统一计算设备架构CUDA流对应的线程，将所述统一计算设备架构CUDA流中的所述特征向量输入至所述神经网络中，得到所述预测结果。

4.根据权利要求3所述的方法，其特征在于，所述图形处理器的显存包括预先分配的M个显存子空间，所述M个显存子空间与所述M个线程一一对应；

所述图形处理器将所述多个业务数据样本的所述特征向量分配至所述图形处理器的M个统一计算设备架构CUDA流中之后，所述方法还包括：

所述图形处理器针对每个所述线程，将所述线程处理所述特征向量产生的目标数据存储至所述线程对应的所述显存子空间；

其中，所述目标数据包括：在将所述特征向量输入至所述神经网络中之后并且得到所述梯度之前产生的数据，和/或，所述梯度。

5.根据权利要求4所述的方法，其特征在于，所述中央处理器根据所述梯度调节所述神经网络的参数，包括：

所述中央处理器根据每个所述线程得到的所述梯度，调节所述神经网络的参数；

在所述中央处理器根据所述M个线程中的任意一个第一线程得到的所述梯度调节所述神经网络的参数之后，所述方法还包括：

所述图形处理器删除所述第一线程对应的所述显存子空间中存储的所述目标数据。

6.根据权利要求1至5中任意一项所述的方法，其特征在于，所述神经网络的参数包括所述神经网络中的神经元参数和所述特征向量，其中，所述神经元参数存储在所述模型计算服务器中；

所述中央处理器根据所述梯度调节所述神经网络的参数，包括：

所述中央处理器根据所述神经元参数的梯度，调节所述模型计算服务器中存储的所述神经元参数；

所述中央处理器将所述特征向量的梯度发送至所述特征查询服务器，以使所述特征查询服务器根据所述特征向量的梯度，调节所述特征向量服务器中存储的所述特征向量。

7.根据权利要求1至5中任意一项所述的方法，其特征在于，所述中央处理器接收特征查询服务器发送的特征向量之后，所述方法还包括：

所述中央处理器将所述特征向量存储至所述中央处理器的内存中，其中，在同一批业务数据样本的特征向量存储在所述内存中连续的多个内存子空间。