[发明专利]基于神经网络模型训练系统的训练处理方法、训练系统

说明书

本发明提供了一种基于神经网络模型训练系统的训练处理方法、训练系统及存储介质，该系统包括：监控节点、多个参数存储节点与多个模型计算节点；方法包括：通过将多个模型计算节点各自接收的样本数据的子集训练模型得到的模型参数，发送至与模型计算节点关联的参数存储节点；通过多个参数存储节点存储该模型参数，当多个模型计算节点进行下一次迭代训练时，将所存储的模型参数发送到各自关联的模型计算节点，通过多个模型计算节点各自接收的新样本数据的子集训练模型；通过监控节点获取的多个参数存储节点和多个模型计算节点的运行状态，控制参数存储节点和模型计算节点。通过本发明，能节约节点资源，提高节点间的通信效率。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于神经网络模型训练系统的训练处理方法、训练系统及存储介质。

背景技术

人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用系统。人工智能现如今得到快速发展，并广泛应用于各种行业。

以信息推荐的应用场景为例，对于信息流推荐产品，通常情况下需要训练各种机器学习模型用于推荐系统的打分与召回环节，机器学习模型的训练需要有参数存储更新与梯度计算两个部分。模型的训练过程中，由于训练数据量和模型参数量巨大，需要大量的计算节点和存储节点对模型进行训练，在训练过程中计算节点与存储节点之间会频繁进行数据交换，从而导致节点内部负荷较高，节点间通信效率降低；并且在训练过程中训练需求和计算存储资源之间存在错位。

发明内容

本发明实施例提供一种基于神经网络模型训练系统的训练处理方法、训练系统及存储介质，能够节约节点资源，提高节点间的通信效率。

本发明实施例的技术方案是这样实现的：

本发明实施例提供一种基于神经网络模型训练系统的训练处理方法，包括：

所述神经网络模型训练系统包括：监控节点、多个参数存储节点与多个模型计算节点；

所述方法包括：

通过所述多个模型计算节点各自接收的样本数据的子集训练所述神经网络模型，将训练得到的模型参数发送至与所述模型计算节点关联的参数存储节点；

通过所述多个参数存储节点存储各自关联的模型计算节点发送的模型参数，当所述多个模型计算节点进行下一次迭代训练时，将所存储的模型参数发送到各自关联的模型计算节点，以使

在所述多个模型计算节点各自所接收的模型参数的基础上，通过所述多个模型计算节点各自接收的新样本数据的子集训练所述神经网络模型；

通过所述监控节点获取所述多个参数存储节点和所述多个模型计算节点的运行状态，并基于所述运行状态控制所述参数存储节点和所述模型计算节点。

本发明实施例提供一种神经网络模型训练系统，包括：

多个模型计算节点，用于将各自接收的样本数据的子集训练所述神经网络模型，将训练得到的模型参数发送至与所述模型计算节点关联的参数存储节点；

多个参数存储节点，用于存储各自关联的模型计算节点发送的模型参数，当所述多个模型计算节点进行下一次迭代训练时，将所存储的模型参数发送到各自关联的模型计算节点，以使

在所述多个模型计算节点各自所接收的模型参数的基础上，通过所述多个模型计算节点各自接收的新样本数据的子集训练所述神经网络模型；

监控节点，用于获取所述多个参数存储节点的运行状态、以及所述多个模型计算节点的运行状态，并基于所述运行状态控制所述参数存储节点和所述模型计算节点。