[发明专利]用于深度神经网络的训练数据的协同异构处理

说明书

用于训练神经网络的系统和方法。一个实施例是一种系统，包括：存储器，其被配置为存储用于深度神经网络(DNN)的训练数据的样本；以及分发器。分发器标识多个工作服务器，该多个工作服务器被配设用于通过经由DNN的模型处理样本来训练DNN，接收指示工作服务器处的图形处理单元(GPU)处理能力的信息，基于信息来确定工作服务器之间的GPU处理能力的差异，以及基于差异来在工作服务器间分配样本。

技术领域

本公开涉及机器学习领域，具体地涉及深度神经网络(DNN)。

背景技术

DNN被用于多种任务，诸如自动语音识别(ASR)、计算机视觉、自然语言处理(NLP)、光学字符识别(OCR)等。DNN经由图形处理单元(GPU)被训练并不少见。例如，当DNN经由监督学习被来训练时，用于DNN的大量参数通过经由GPU迭代地处理大量样本(例如，数百万个样本)来确定。训练过程可能需要一台机器几个月或几年才能完成。因此，设计DNN的那些人员常常利用分布式训练技术，其中驻留在多个机器上的多个GPU并行处理训练。在分布式训练中，GPU可能在训练过程期间变得不同步，这导致训练数据内的不同样本在训练结束前被处理了不同的次数。这在本文中被称为“时期失同步”。时期失同步是不希望的，因为它可能导致为DNN所确定的参数变得不准确。如果参数不正确，则需要附加的处理时间以便重新训练DNN。这增加了训练DNN所涉及的时间和费用两者。

发明内容

本文所描述的实施例增强了由机器进行的处理，该机器执行训练数据的分布式并行处理以用于DNN。具体地，可以基于那些机器的GPU处理能力将训练数据集合内的样本分配给机器，从而在期望数目的时期内处理训练数据。一个技术优势是：训练数据内的样本被处理了相同的次数，这防止DNN被错误训练或以其他方式需要经历重新训练。这些技术还可以帮助提高训练过程的整体速度。

一个实施例是一种系统，其包括：存储器，其被配置为存储用于深度神经网络(DNN)的训练数据的样本；以及分发器。分发器标识多个工作服务器，该多个工作服务器被配设(provision)用于通过经由DNN的模型处理样本来训练DNN，接收指示工作服务器处的图形处理单元(GPU)处理能力的信息，基于信息来确定工作服务器之间的GPU处理能力的差异，以及基于差异来在工作服务器间分配样本。

在另外的实施例中，分发器被配置为确定工作服务器的吞吐量，基于吞吐量来选择用于工作服务器的批量大小，以及报告批量大小。每个批量大小定义了用于工作服务器中的一个工作服务器同时处理的一个批量中的样本的数目。

在另外的实施例中，分发器被配置为动态地确定吞吐量，以及在DNN的训练期间基于吞吐量来调整批量大小。

在另外的实施例中，该系统还包括至少一个修正元件(revision element)，该至少一个修正元件被配置为在工作服务器中的一个工作服务器处完成对一批量的样本的处理之后，从工作服务器中的一个工作服务器接收输入，基于输入来确定对DNN的调整，以及向工作服务器报告调整以用于更新DNN的模型。

在另外的实施例中，分发器被配置为确定要在DNN上执行的训练的整数个时期。分发器被配置为在工作服务器间分配样本，使得在训练期间该整数个时期将被完成但不被超过。

在另外的实施例中，样本中的至少一个样本包括图像。

在另外的实施例中，样本中的至少一个样本包括声音文件。

附加实施例是一种方法，该方法包括：标识多个工作服务器，该多个工作服务器被配设用于通过经由深度神经网络(DNN)的模型处理样本来训练DNN，接收指示该工作服务器处的图形处理单元(GPU)处理能力的信息，基于该信息来确定工作服务器之间的GPU处理能力的差异，以及基于差异在工作服务器间分配样本。