[发明专利]用于异构架构的数据处理系统及其方法

说明书

本公开公开了一种用于异构架构的数据处理系统，包括：作业分解组件，用于将所需完成的作业分解为一系列由异构架构中执行体来执行的任务；任务拓扑图生成组件，在作业分解组件进行作业分解的同时，基于所分解的任务之间的固有关系，生成任务关系拓扑图，所述任务拓扑图的任务节点含有执行对应任务所需的全部节点属性；执行体创建组件，基于任务关系拓扑图在计算资源中为每个任务创建对应的执行体；以及执行体网络组件，包含含有各种所创建的执行体的一条或多条数据处理路径，其在接收实际作业数据时，将实际作业数据分片成为任务数据，所述任务数据被连续输入数据处理路径中，以便完成任务数据的处理。

技术领域

本公开涉及一种数据处理技术。更具体地说，本公开涉及一种用于异构 架构的数据处理系统及其方法。

背景技术

随着机器学习的发展以及人工神经网络的研究的逐步深入，深度学习的 概念得到广泛的关注和应用。深度学习是一种特殊的机器学习，它采用网状 层级结构来表达所学习的对象，通过简单概念来组合成抽象概念，通过简单 概念计算来实现抽象的概念表达。目前，深度学习在图像识别、语音识别以 及自然语言处理领域有了长足的进展。深度学习涉及的模型参数多，导致计 算量巨大，而且训练数据的规模大，因此需要消耗较多的计算资源等特点。

当前，无论是通用处理器GPU还是专用芯片TPU相对于CPU都强大 了许多倍，但现实应用对计算力的渴求是无止境的，从业者需要以更快的速 度，以更大规模的模型处理更大规模的数据，这单靠一个硬件设备无法满足。 硬件的发展要受限于制造工艺(芯片面积，功耗，时钟信号传播范围)的限 制，不可能无限制的提高一颗芯片的处理能力。因此，人们常常通过高速互 联技术把多个高通量的设备连接在一起，协同完成大规模任务。一种常见的 GPU集群架构，同一个节点(服务器)内部的GPU通过NVLink或者PCIe 通信，多个节点通过高速以太网或者无限带宽(Infiniband)互联。Google内 部TPU Cloud的硬件部署中每个服务器管理若干个TPU，多个服务器通过高 速互联技术连成大规模集群。如何使得多个互联的设备在一起高效工作，这 给深度学习软件开发带来了严峻挑战。

为此，本领域技术人员提出了数据并行是指把数据分成多份，每个设备 处理一份，这样每个设备只需要处理整体数据的一小部分即可，系统运行时 间从一个设备处理所有数据需要的时间降低到一个设备处理一小部分数据需 要的时间，从而得到加速，这是大数据场景最常见的并行方式。例如，把4 个训练样例等分成2份，分别分配给两个设备去处理，两个设备上持有同一 份模型的两个拷贝。训练深度学习模型时，一个设备上的前向和后向计算可 以独立开展，但每个模型上获得模型的更新梯度后需要在设备间同步，聚合成完整数据集上的梯度之后再做模型更新。数据并行特别适合卷积神经网络 这种场景，卷积神经网络的模型由很多小的卷积核构成，模型体积小，从而 设备间同步模型梯度时通信量较小。当前，所有框架都能很好的支持这种并 行模式。但是模型很大的场景就不适合用数据并行了。

在有些场景模型太大以至于使用数据并行通信开销太大，或者模型超过 GPU显存容量。因此，对于模型很大的场景，本领域技术人员提出了模型并 行。在这种情况必须对模型进行切分，每个设备上只完成一部分模型对应的 计算，这称为模型并行。有人曾提出根据并行时传输数据还是传输模型的通 信量大小来自动选择数据并行或模型并行。在模型并行模式下，通常一个 GPU负责一部分输出神经元的计算，另一个GPU负责另一部分输出神经元 的计算，相当于对矩阵进行分片，每个设备只完成一部分计算。因此，在模 型并行时，不需要在设备间同步模型，但需要在设备间同步数据。当前绝大 部分开源框架不支持模型并行，或者支持比较弱，需要非常微妙的调整才能 高效执行。模型并行是业界公认的难题，但是人们也在持续进行艰难的探索。