[发明专利]存储器中的基于词的通道最后排序

说明书

存储设备包括第一词和第二词。第一词具有多个元素的第一子集。多个元素的第一子集各自具有沿着张量的第一维度的顺序索引值的第一集合、张量的第二维度的第一单个索引值、以及张量的第三维度的第二单个索引值。第二词具有多个元素的第二子集。多个元素的第二子集各自具有沿着张量的第一维度的与第一词相同的顺序索引值的第一集合、张量的第二维度的与第一词相同的第一单个索引值、以及张量的第三维度的不同于第一词的第二单个索引值的第三单个索引值。第二词在存储器中与第一词相邻。

相关申请的交叉引用

本申请根据35 U.S.C. § 119(e)要求于2021年9月3日提交的美国临时专利申请序列号63/240，770的权益。美国临时专利申请序列号63/240，770通过引用以其整体并入本文。

技术领域

本公开总体上涉及用于神经网络的张量数据的存储器管理的领域。

背景技术

机器学习是一过程，计算机系统通过该过程学习如何在不遵循明确指令的情况下执行动作的过程。在训练阶段期间，计算机系统学习如何使用训练数据来执行动作。例如，通过训练，计算机系统分析训练数据并从训练数据中的模式中提取推断。在生产阶段，计算机系统基于分析和推断对新数据执行动作。通常，机器学习涉及使用神经网络。神经网络是一种类型的机器学习模型，其获取输入，并且通过输入层、一个或多个隐藏层和输出层的执行来产生结果。层的至少子集的输入和输出是张量（tensor）。张量是基于张量内的值的位置来维持值与值所表示的内容的关联的数据结构。

发明内容

提供本发明内容是为了以简化的形式介绍下面在具体实施方式中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在限制所要求保护的主题的范围。

一般而言，在一个方面中，一个或多个实施例涉及一种计算设备，其包括存储器和处理器，所述处理器被配置为从存储器中的存储执行第一词和第二词的第一多个存储器访问。第一词具有多个元素的第一子集。所述多个元素的所述第一子集各自具有沿着张量的第一维度的顺序索引值的第一集合、所述张量的第二维度的第一单个索引值、以及所述张量的第三维度的第二单个索引值。第二词具有多个元素的第二子集。所述多个元素的所述第二子集各自具有沿着所述张量的所述第一维度的与所述第一词相同的所述顺序索引值的第一集合、所述张量的所述第二维度的与所述第一词相同的所述第一单个索引值、以及所述张量的所述第三维度的不同于所述第一词的所述第二单个索引值的第三单个索引值。第二词在存储器中与第一词相邻。

一般而言，在一个方面中，一个或多个实施例涉及包括第一词和第二词的存储设备。第一词具有多个元素的第一子集。所述多个元素的所述第一子集各自具有沿着张量的第一维度的顺序索引值的第一集合、所述张量的第二维度的第一单个索引值、以及所述张量的第三维度的第二单个索引值。第二词具有多个元素的第二子集。所述多个元素的所述第二子集各自具有沿着所述张量的所述第一维度的与所述第一词相同的所述顺序索引值的第一集合、所述张量的所述第二维度的与所述第一词相同的所述第一单个索引值、以及所述张量的所述第三维度的不同于所述第一词的所述第二单个索引值的第三单个索引值。第二词在存储器中与第一词相邻。

一般而言，在一个方面中，一个或多个实施例涉及一种方法，其包括执行词的多个组的多个存储器访问。所述多个组中的每个组被存储在存储器的连续区段中，并且其中所述多个组中的每个组包括多个词，所述多个词各自包括多个元素，所述多个元素具有与所述组中的每个其他词相同的所述第一维度和所述第二维度的索引值的集合，以及与所述组中的每个其他词不同的所述第三维度的索引值。该方法还包括使用多个存储器访问来执行神经网络模型的层。

根据以下描述和所附权利要求，实施例的其他方面将是显而易见的。

附图说明

图1是根据一个或多个实施例的计算设备的图。

图2是根据一个或多个实施例的存储器结构中的图像的图。