[发明专利]用于利用约简操作来支持数据并行循环的计算引擎架构

说明书

描述了涉及用于利用约简操作来支持数据并行循环的计算引擎架构的技术。在一些实施例中，硬件处理器包括存储器单元和多个处理元件(PE)。PE中的每一个PE都经由一个或多个邻至邻链路直接与一个或多个相邻PE耦合，使得每一个PE都能够：从相邻PE接收值；将值提供给相邻PE；或者既从一个相邻PE接收值，又将值提供给另一相邻PE。硬件处理器还包括控制引擎，该控制引擎与多个PE耦合，用于使多个PE共同执行任务，以便通过每一个PE执行该任务的同一子任务的一个或多个迭代来生成一个或多个输出值。

技术领域

本公开总体涉及电子学，更具体地涉及用于利用约简操作来支持数据并行循环的计算引擎架构。

背景技术

仅在过去几年时间里，来自相对新生的机器学习领域的算法已广泛应用于许多类型的实际应用，从而产生各种技术，诸如，无人驾驶汽车、改进的互联网搜索引擎、语音、音频和/或视觉识别系统、人类健康数据和基因组分析、推荐系统、欺诈检测系统等。这些算法的增长已部分地受到近期正由人类和非人类两者产生的数据类型和量的增加的促进。由此，随着可用于分析的数据的增加量的急剧增长，对机器学习的兴趣也已急剧增长。

然而，机器学习算法趋于在计算上是昂贵的，因为它们可能涉及对大量数据的大量非简单操作(例如，浮点乘法)。结果，尽可能高效地实现这些算法是极其重要的，因为由于计算的规模之大，任何小的低效率都会迅速被放大。

例如，许多机器学习算法执行对巨型矩阵的线性代数运算。然而，这些类型的操作在现代计算系统中极难并行化，这至少部分地由于跨迭代(例如，在矩阵中更新值的循环)的潜在的写到读依赖关系。

用于执行这些类型的线性代数运算的一些当前方式要么采用锁定技术，要么采用近似无锁实现方式。锁定继续产生与顺序实现方式相同的解，并且此权衡锁定开销以得到更大的并行性。然而，作为锁定开销的结果，先前方式已显示性能并不缩放超过2-4个核，并且甚至直到4个核也不产生接近线性性能缩放的任何结果。

第二种方式(涉及使用近似无锁实现方式)确实更接近线性性能缩放，但是由于在根本上依赖于近似而无法实现最佳解。此外，输出偏差对于具有幂律分布的数据集(其中，一些特征比另一些特征更常见)可能是尤其高的，这导致错误更新的更大几率。

因此，迫切需要增强对这些类型算法(诸如，具有跨循环迭代的写到读数据依赖关系的那些算法)的执行的技术。

附图说明

通过参考用于说明一些实施例的以下描述和所附附图，可最佳地理解本发明。在附图中：

图1是示出根据一些实施例的系统的框图，该系统包括实现用于利用约简操作来支持数据并行循环的计算引擎架构的硬件处理器。

图2是示出根据一些实施例的包括具有迭代间数据依赖关系的循环的累积分布函数(CDF)代码段以及经由图1的计算引擎架构实现显著的计算加速的经优化的CDF代码段的框图。

图3是示出根据一些实施例的可由图2中的经优化的CDF代码段利用的示例性数据结构和数据的框图，图2中的经优化的CDF代码段经由图1中的所公开的计算引擎架构来实现显著的计算加速。

图4是示出根据一些实施例的图2中的经优化的CDF代码段的部分如何能够由图1中的计算引擎架构的示例性实现方式执行的框图。

图5是示出根据一些实施例的用于利用用于支持数据并行循环的计算引擎架构的操作流程的流程图。

图6是示出根据一些实施例的、用于利用用于支持数据并行循环的包括多个处理元件的计算引擎架构来执行任务的操作流程的流程图。

图7示出根据一些实施例的示例实现方式，在该示例实现方式中，加速器通过高速缓存一致接口通信地耦合到多个核。

图8示出根据一些实施例的加速器的另一视图。