[发明专利]计算图的执行

说明书

本发明涉及了访问计算图。在所述计算图中，要进行的运算被表示为内部节点，所述运算的输入被表示为叶节点，并且所述运算的结果被表示为根。将所述运算的选定集合进行组合以形成相应运算内核。生成用于执行所述运算内核的代码。执行所述代码以确定所述结果。

相关申请

本申请要求2017年1月13日提交的标题为“在多核CPU和GPU上加速计算图(Accelerating Computation Graphs on Multi-Core CPUs and GPUs)”的美国临时申请第62/446,302号的优先权，该申请以引用方式全文并入本文。

发明背景

诸如TensorFlow、CAFFE(用于快速特征嵌入的卷积架构)、Torch和Theano的现代机器学习框架明确地提供了基于用于表达训练和推断问题的计算图的编程模型。当编译动态语言框架(如NumPy和类似的面向集合的编程模型)时也会出现计算图。(TensorFlow是使用数据流图进行数值计算的开源软件库。CAFFE是深度学习框架。Torch是支持机器学习算法的科学计算框架。Theano是Python的数值计算库。Python是用于进行通用编程的经解释的高级编程语言。NumPy是Python编程语言的库，包括对大型、多维阵列和矩阵的支持、以及对这些阵列进行运算的高级数学函数集合。)

计算图典型地是有向非循环图(DAG)，其中节点将数据表示为多维矩阵或张量。叶节点表示输入数据，并且内部节点表示对张量进行运算的运算。

DAG中的每个运算(DAG中的每个节点)都是急切地执行的。然而，这样就会导致执行的效率低，因为这种方法无法跨运算来进行优化。

另外，在编程基础结构不支持的情况下，应用程序无法在不针对多个不同的指令集和处理架构重新实现所有运算的情况下被“移植”到该指令集和处理架构(例如，图形处理单元GPU对中央处理单元CPU)。一些机器学习框架需要对它们本身的应用程序做出改变才能面向GPU。因此，开发人员只有在性能益处超过需要做的工作量的情况下才会将它们的应用程序移植到GPU上。

然而，机器学习应用程序是可使用GPU的最大应用程序领域之一。因此，需要能够生成用于GPU的高效代码，使得更容易将应用程序(诸如机器学习应用程序)移植到GPU上。

发明概述

根据本发明的实施方案提供了一种可加速计算图、尤其是有向非循环图(DAG)的执行的方法。计算图可通过跨图的不同级组合运算并且然后生成用于执行这些运算的代码来变得更有效。代码可专门针对于不同目标架构：图形处理单元(GPU)和中央处理单元(CPU)。对于动态库架构，所述方法可以在不显著改变此类库的客户端的情况下使用。

在根据本发明的实施方案中，访问计算图。在计算图中，要进行的运算被表示为内部节点，运算的输入被表示为叶节点，并且运算的结果被表示为根。将运算的选定集合进行组合(融合)以形成相应运算内核。将运算内核编码为可执行函数。执行代码(函数)以确定结果。

在一个实施方案中，计算图的每个节点被表示为数据结构。每个数据结构包括第一字段、第二字段和第三字段，第一字段标识节点的类型，第二字段列示对由数据结构表示的节点的输入，第三字段包括针对节点的值。如果节点是内部节点且运算的结果已经被计算出(被具体化)，则值可以是结果，如果节点是内部节点且运算的结果尚未被计算出(尚未被具体化)，则值可以是空值，如果节点是叶节点(叶节点被具体化)，则值可以是输入值。遍历计算图的节点以识别尚未被具体化的数据结构对已经被具体化的数据结构的序列。将数据结构序列进行组合(融合)以形成运算内核。将运算内核编码为可执行函数。函数可以在不同的GPU和CPU架构上执行。

总的来说，根据本发明的实施方案跨计算图的各个级加速运算执行。计算图可用于生成有效代码。计算可以在不同目标架构上执行，同时还提高了性能。对于动态库框架，所公开的方法可以在几乎不改变库的客户端的情况下使用，以便允许跨多个库调用的融合。