[发明专利]数据处理系统及其方法

说明书

本公开提供了一种数据处理系统及其方法。所述系统包括：多个数据执行器组，所述数据执行器组的组数与待处理数据的处理阶段的预定阶段数量相等，其中每个数据执行器组包括至少一个数据处理执行器，其中所述多个数据执行器组中的第一数据执行器组中的数据处理执行器在启动后，先连续执行预定次数的前向数据处理后交替执行前向数据处理和后向数据处理，所述多个数据执行器组中的第一数据执行器组之后的数据执行器组中的数据处理执行器，按照数据接收的先后顺序，针对其所获得前一数据执行器组中的数据处理执行器执行前向数据处理所产生的前向结果数据执行前向数据处理，或针对其所获得后一数据执行器组中的数据处理执行器执行后向数据处理所产生的模型更新参数，执行后向数据处理。

技术领域

本公开涉及一种数据处理技术，更具体地说，本公开涉及一种数据处理系统及其方法。

背景技术

随着机器学习的发展以及人工神经网络的研究的逐步深入，深度学习的概念得到广泛的关注和应用。深度学习是一种特殊的机器学习，它采用网状层级结构来表达所学习的对象，通过简单概念来组合成抽象概念，通过简单概念计算来实现抽象的概念表达。目前，深度学习在图像识别、语音识别以及自然语言处理领域有了长足的进展。深度学习涉及的模型参数多，导致计算量巨大，而且训练数据的规模大，因此需要消耗较多的计算资源等特点。

当前，无论是通用处理器GPU还是专用芯片TPU 相对于CPU 都强大了许多倍，但现实应用对计算力的渴求是无止境的，从业者需要以更快的速度，以更大规模的模型处理更大规模的数据，这单靠一个硬件设备无法满足。硬件的发展要受限于制造工艺（芯片面积，功耗，时钟信号传播范围）的限制，不可能无限制的提高一颗芯片的处理能力。因此，人们常常通过高速互联技术把多个高通量的设备连接在一起，协同完成大规模任务。

为此，本领域的技术人员提出了层内并行和层间并行。层内并行是神经网络模型的一个迭代训练计算有多个设备共同参与。层内并行的优点是一个迭代训练的工作被均摊到了每一个设备上，但缺点是数据传输需要消耗更多时间。层间并行将神经网络模型的整个流程分为不同的阶段，参与不同阶段的设备一定互不相同，阶段之间具有明确的先后顺序。层间并行的输入数据被划分为小批量，分批进行训练，每一组数据都可以被视为一小批。层间并行的优点是只有在任务交接时需要传输，但缺点是迭代速度与收敛性相矛盾。

层间并行又可以分为整体同步并行(BSP)、异步并行（ASP）和延迟同步并行（SSP）。整体同步并行每次迭代中都需要等待所有机器的计算完成，因此其速度最慢，但收敛性最好。异步并行机器间完全不用互相等待，速度很快，但不一定收敛。延迟同步并行（SSP）允许一定程度的计算不一致，但有一定的速度和一定收敛。

因此，人们期望获得一种数据处理系统，能够利用层间并行减少传输花费的时间，又可以有效解决层间并行的迭代速度与收敛的矛盾问题。

发明内容

本发明的目的是解决上述技术问题。根据本公开的内容，提供了一种数据处理系统，包括：多个数据执行器组，所述数据执行器组的组数与待处理数据的处理阶段的预定阶段数量相等，其中每个数据执行器组包括至少一个数据处理执行器，所述多个数据执行器组中的第一数据执行器组中的数据处理执行器在启动后，先连续执行预定次数的前向数据处理后交替执行前向数据处理和后向数据处理，所述多个数据执行器组中的第一数据执行器组之后的数据执行器组中的数据处理执行器，按照数据接收的先后顺序，针对其所获得前一数据执行器组中的数据处理执行器执行前向数据处理所产生的前向结果数据，执行前向数据处理，或针对其所获得后一数据执行器组中的数据处理执行器执行后向数据处理所产生的模型更新参数，执行后向数据处理。

根据本公开的数据处理系统，其中所述每个数据执行器组在执行完一次前向数据处理或后向数据处理时，在存在其前一数据执行器组中的数据处理执行器执行前向数据处理所产生的一个或多个前向结果数据需要执行前向数据处理时，和在存在其后一数据执行器组中的数据处理执行器执行后向数据处理所产生的一个或多个模型更新参数需要执行后向数据处理时，先针对所接收到的模型更新参数执行后向数据处理。