[发明专利]非标量数据的大数据集的约简和广播操作的并行处理

说明书

本申请涉及非标量数据的大数据集的约简和广播操作的并行处理的方法、系统和装置，包括编码在存储介质上的指令，用于执行梯度向量和类似结构化数据的约简，所述梯度向量和类似结构化数据例如在以由节点之间的至少两个维度上的连接定义的网格或环面拓扑组织的节点上并行生成。所述方法提供了拓扑中的节点之间的并行计算和通信。

分案说明

本申请属于申请日为2018年2月22日的中国发明专利申请201810153965.2的分案申请。

技术领域

本说明书涉及并行处理非标量数据的大数据集。

背景技术

机器学习模型接收输入并基于接收到的输入和模型参数的值而生成输出。这些模型通常需要使用接收到的输入来训练，所述输入是非常大的数据集。

发明内容

本说明书描述了大体涉及大数据集的并行处理，并且具体涉及用于更快地约简、映射、和广播操作的各种拓扑中的大数据集的并行处理的技术。

一般而言，本说明书中描述的主题的一个创新方面可以实施在用于处理训练数据的方法中。所述方法包括在以包括节点的行和列的环面(torus)拓扑组织的多个节点中的每个节点上训练机器学习模型的相应副本，其中，每个节点是在相应训练数据批次上并行训练的，由此在训练之后每个节点保持由训练产生的相应梯度向量。节点中的各个梯度向量可以通过执行操作来组合以生成最终梯度向量，所述操作包括：通过在节点上执行的代码，对环面的行并行地执行改进的旋转钳式算法而不进行广播，以在每一行中生成梯度向量的每个相应不相交场的组合数据，由此当该行处理完成时，每一列包含梯度向量数据的相应相同不相交场的所有组合数据；并且然后通过在节点上执行的代码，在环面中的列中的每一列中执行第二环形算法，包括向每一列中的所有节点广播该列中的相应最终列结果；并且然后跨环面的每一行复制最终列结果，由此环面的每个节点保持最终梯度向量。

这些和其它实施例可以可选地包括以下特征中的一个或多个。第二环形算法可以是改进的旋转钳式算法。多个节点可以在单个模块上实现。每个节点可以在单独的集成电路上实现。模块可以是集成电路。执行改进的旋转钳式算法可以包括执行改进的旋转钳式算法以生成梯度向量的每个相应不相交场的求和数据。环面可以由节点的行和列组成。环面拓扑还可以包括节点层，每一层由节点的相应行和列组成。对每一行执行改进的旋转钳式算法可以包括：对于每一行中的每个节点，使用所述节点作为改进的钳式算法的实例化的开始节点，所述改进的钳式算法将所述节点的不相交场的一半发送到该行的环中的两个相邻节点中的每一个；以及从该节点开始执行改进的钳式算法。

对于该行中的每个起始节点，与起始节点相对的每个结束节点可以向该行中的其它节点广播由该结束节点确定的最终场梯度向量。所述组合可以与沿着环面的行进行的组合并行地沿着列执行，其中每一行中的每个节点是该行中的起始节点，并且每一列中的每个节点是该列中的起始节点，并且每个起始节点处理该梯度向量的不同的相应不相交场。

在一些实施方式中，一种用于处理训练数据的方法可以包括：在以包括节点的行和列的环面拓扑组织的多个节点中的每个节点上训练机器学习模型的相应副本，其中，每个节点是在相应训练数据批次上并行训练的，由此在所述训练之后每个节点保持由所述训练得到的相应梯度向量；通过执行操作来组合节点中的相应梯度向量以生成最终梯度向量，所述操作包括：通过在节点上执行的代码沿着环面的每一行来执行相应环形约简，使得每一行中的每一节点对于最初在该行的节点中的每一梯度向量具有约简的向量；以及通过在节点上执行的代码，沿着环面的每一列执行相应的环形约简，在所述环形约简结束时每个节点保持相同的最终梯度向量。

这些和其它实施例可任选地包括以下特征中的一个或多个。所述环形约简可以使用旋转钳式算法来执行。