[发明专利]替选循环限制

说明书

描述了用于存取N维张量的方法、系统和装置。在一些实施方式中，一种方法包括对第一嵌套循环的一个或多个第一迭代中的每个迭代，执行嵌套在第一嵌套循环内的第二嵌套循环的迭代，直到达到用于第二嵌套循环的第一循环边界为止。响应于第二嵌套循环具有超过计算系统的硬件属性的值的迭代的总数，用于第一嵌套循环的一个或多个第一迭代的第二嵌套循环的迭代的数目受到第一循环边界限制。在第一嵌套循环的倒数第二迭代已经完成之后，对第一嵌套循环的最后一个迭代执行第二嵌套循环的一个或多个迭代，直到达到替选循环边界为止。

技术领域

本说明书通常涉及一种使用包括多个计算单元的专用计算单元来执行机器学习计算。

背景技术

神经网络是机器学习模型，其采用模型的一个或多个层来对所接收的输入生成输出，例如分类。一些神经网络除了外层之外还包括一个或多个隐藏层。每个隐藏层的输出被用作到网络中下一层的输入，即，网络的下一隐藏层或输出层。网络的每一层根据相应的参数集的当前值，从所接收的输入生成输出。

一些神经网络包括一个或多个卷积神经网络层。每个卷积神经网络层具有内核的相关的集。内核可以被表示为权重输入的矩阵结构。每个卷积层使用该内核来处理到该层的输入。到该层的输入的集合也可以被表示为矩阵结构。

发明内容

根据本说明书中的主题的一个创新方面，一种用于存取N维张量的方法包括：对第一嵌套循环的一个或多个第一迭代中的每个迭代，执行嵌套在第一嵌套循环内的第二嵌套循环的迭代，直到达到用于第二嵌套循环的第一循环边界为止。响应于第二嵌套循环具有超过计算系统的硬件属性的值的迭代的总数，用于第一嵌套循环的一个或多个第一迭代的第二嵌套循环的迭代的数目可能受到第一循环边界限制。在第一嵌套循环的倒数第二迭代完成之后，可以对第一嵌套循环的最后一个迭代执行第二嵌套循环的一个或多个迭代，直到达到替选循环边界为止，其中，替选循环边界小于第一循环边界。

这些和其他实施方式可以各自可选地包括下述特征中的一个或多个。一些方面可以包括响应于确定第一嵌套循环的倒数第二迭代已经完成，用用于第一循环边界的替选边界代替第一嵌套循环的最后一个迭代。

在一些方面中，硬件属性的值包括计算系统的单个计算单元的数目。每个单个计算单元可以包括计算瓦片、处理器或数学单元。

基于直到达到用于第二嵌套循环的第一循环边界为止执行嵌套在第一嵌套循环内的第二嵌套循环的迭代可以包括使用计算单元并行地执行第二嵌套循环的每个迭代。每个计算单元可以执行第二嵌套循环的相应迭代。

在一些方面中，替选循环边界是基于由将第二嵌套循环的迭代的总数除以计算单元的数目而得到的余数值。包括第一嵌套循环和第二嵌套循环的嵌套循环集可以包括嵌套在第一嵌套循环和第二嵌套循环之间的一个或多个循环，并且在第一嵌套循环和第二嵌套循环之间不嵌套任何其他循环的情况下，第二嵌套循环被嵌套在另一个循环内。第二嵌套循环可以直接被嵌套在第一嵌套循环内。

本说明书中所述的主题可以用具体实施例实施以便实现一个或多个下述优点。通过使用多个计算单元(例如，多个计算瓦片、多个处理器或多个数学单元)并行执行机器学习计算，可以提高计算速度和效率，从而可以在更短的时间量内执行更复杂的机器学习计算。嵌套循环的可调循环边界允许即使迭代的数目不是单个计算单元或其他硬件属性的数目的倍数，也可以并行处理嵌套循环的迭代。可以设置内循环的循环边界，以使对除嵌套内循环的外循环的最后一个迭代以外的所有迭代，内循环的迭代的数目等于单个计算单元的数目。这允许对外循环的每个迭代，例如在同一时间并行地执行内循环的每个迭代。另外，对除了外循环的最后一个迭代外的所有迭代，对外循环的每个迭代都使用每个单个计算单元，从而实现更快和更有效的计算。通过用内循环的替选循环边界替代用于外循环的最后一个迭代，可以减少执行内循环的迭代所需的指令数目，从而允许更少存储设备和/或更多可用存储器。