[发明专利]访问序言和结尾数据

说明书

方法、系统和装置，包括用于访问数据的装置。在一些实施方式中，装置包括地址偏移值元素，每个地址偏移值元素被配置为存储地址偏移值。对于每个地址偏移值元素，装置可以包括地址计算元素，每个地址计算元素存储被用于确定地址偏移值的值。一个或多个处理器被配置为接收用于使用张量的张量元素执行计算的程序。处理器可以在程序中识别具有相应数据数组的序言或结尾循环，该数据数组用于存储序言或结尾循环的值，并且对于与序言或结尾循环相应的第一地址偏移值元素，处理器至少基于序言或结尾循环的迭代的数量来用各自的值填充用于第一地址偏移值元素的地址计算元素。

背景技术

本说明书大体上涉及访问用于使用专用计算单元执行机器学习计算的数据。

神经网络是机器学习模型，对于接收的输入，其采用一个或多个模型层来生成输出，例如分类。除了外层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出用作网络中下一层，即网络的下一个隐藏层或输出层，的输入。层中的每个按照各自参数集合的当前值从接收的输入产生输出。

一些神经网络包括一个或多个卷积神经网络层。每个卷积神经网络层都有相关的内核集合。内核可以被表示为权重输入的矩阵结构。每个卷积层使用内核来处理层的输入。层的输入集合也可以被表示为矩阵结构。

发明内容

本说明书描述了与确定序言和/或结尾数据的内存地址以及访问数据有关的技术，用于使用专用计算单元的机器学习计算。

通常，本说明书中描述的主题的一个创新方面可以被具体化为用于访问数据的装置。装置可以包括地址偏移值元素，每个地址偏移值元素被配置为存储地址偏移值。对于每个地址值元素，装置可以包括地址计算元素，每个地址计算元素存储被用于确定存储在地址偏移值元素中的地址偏移值的值。装置可以包括一个或多个处理器，该处理器被配置为接收用于使用N维张量的张量元素执行计算的程序。处理器可以被配置为在程序中识别具有相应数据数组的序言或结尾循环，该数据数组用于存储序言或结尾循环的值。一个或多个处理器可以被实施为包括一个或多个加法器的电路。

处理器可以被配置为对于与序言或结尾循环相应的第一地址偏移值元素，至少基于序言或结尾循环的迭代的数量，用各自的值填充用于第一地址偏移值元素的地址计算元素。处理器可以被配置为对于N维张量的每个维度的第二地址偏移值元素，至少基于程序中的与维度相应的循环的迭代的数量，用各自的值填充用于第二地址偏移值元素的地址计算元素。处理器可以被配置为对于每个数据数组的每个数据元素，使用在确定数据元素的内存地址时数据数组的第一地址偏移值的当前值来确定数据数组的内存地址。在数据数组的数据元素的内存地址的每次确定之后，调整数据数组的第一地址偏移值。

处理器可以被配置为对于N维张量的每个张量元素，使用在确定张量元素的内存地址时每个第二地址偏移值的当前值来确定张量元素的内存地址。在N维张量的张量元素的内存地址的每次确定之后，调整第二地址偏移值中的一个或多个。处理器可以被配置为输出指示每个张量元素和每个数据元素的确定的地址的数据。

这些和其他实施方式可以各自可选地包括以下特征中的一个或多个。在一些方面，装置可以包括处理单元，该处理单元被配置为基于每个确定的地址访问每个张量元素和每个数据元素。例如，处理单元可以访问张量和数据元素以执行机器学习或其他计算。在一些示例中，处理单元可以在运行程序时访问张量和数据元素，用于使用N维张量的张量元素执行计算。一个或多个数据数组可以包括序言数据数组，该序言数据数组包括数据元素。每个数据元素可以存储用于机器学习计算的偏差值。

在一些方面，一个或多个处理器可以以第一次序确定每个张量元素的内存地址，并且一个或多个处理器在第一次序之前或之后以第二次序确定每个数据元素的内存地址。确定特定张量元素的地址可以包括使用一个或多个硬件加法器确定每个维度的地址偏移值的总和。在一些方面，确定特定数据元素的地址可以包括确定特定数据元素的地址偏移值和数据元素的基地址的总和。