[发明专利]执行神经网络模型的PIM架构的数据布局优化

说明书

本公开涉及一种执行神经网络模型的PIM架构的数据布局优化的技术方案。用于在包括存储块组件的PIM使能设备上布置计算图的方法。该方法包括将计算图的第一节点分配到存储块组件中的存储块的第一阵列的第一存储块上，以及将计算图的第二节点分配到存储块组件中的存储块的第二阵列的第二存储块上，其中，所述第一节点的输出数据用于提供给所述第二节点使用。所述存储块组件配置为支持经由所述存储块组件中的内部数据耦合从所述第一存储块到所述第二存储块的数据传输。

背景技术

机器学习已广泛应用于自然语言处理、语音识别、图像分类等各个领 域。在机器学习中，神经网络模型一直在不断增加并变得更加复杂。随着神经 网络模型，尤其是深度神经网络(DNN)模型变得庞大而复杂，具有数百层和数百 万个权重，执行神经网络模型不仅变得计算量繁重，而且存储需求密集。由于 传统的冯·诺依曼体系架构具有独立的处理单元和存储单元，在传统的冯·诺 依曼体系架构上处理神经网络模型时，在处理单元和存储单元之间发生大量的 数据传输，这成为处理神经网络模型的瓶颈。

能够在存储单元中执行计算的存内计算(PIM)技术已经出现，以通 过减少处理单元和存储单元之间的数据移动的方式解决此类问题。为了在执行 更大的神经网络模型时实现更高水平的并行性和可扩展性，并提高整体执行性 能，优化PIM架构上的数据布局非常重要。

发明内容

本公开的实施例提供了一种在包含存储块组件的存内计算(processing inmemory，PIM)使能设备上布置计算图的方法。该方法包括将计算图的第一 节点分配到存储块组件中的存储块的第一阵列的第一存储块上，并将计算图的 第二节点分配到存储块组件中的存储块的第二阵列的第二存储块上，其中，所 述第一节点的输出数据用于提供给所述第二节点使用。存储块组件可以被配置 为通过存储块组件中的内部数据耦合，支持数据从第一存储块到第二存储块的 传输。

本公开的实施例提供了一种用于在包括存储块组件的PIM使能设备上 布置计算图的设备。该设备包括存储一组指令集的存储器和一个或多个处理器， 被配置为执行该组指令集以使该设备执行：将计算图的第一节点分配到存储块 组件中的存储块的第一阵列的第一存储块上，并将计算图的第二节点分配到存 储块组件中的存储块的第二阵列的第二存储块上，其中，所述第一节点的输出 数据用于提供给所述第二节点使用。所述存储块组件被配置为支持经由所述存 储块组件中的内部数据耦合，从所述第一存储块到所述第二存储块的数据传输。

本公开的实施例提供了一种非临时性计算机可读介质，该介质存储一 组指令集，该指令集可由计算设备的至少一个处理器执行，以使计算设备执行 在包括存储块组件的PIM使能设备上布置计算图的方法。该方法包括将计算图 的第一节点分配到存储块组件中的存储块的第一阵列的第一存储块上，并将计 算图的第二节点分配到存储块组件中的存储块的第二阵列的第二存储块上，其 中，所述第一节点的输出数据用于提供给所述第二节点使用。所述存储块组件 被配置为支持经由所述存储块组件中的内部数据耦合，从所述第一存储块到所 述第二存储块的数据传输。

本公开的实施例提供了一种终端，该终端包括具有存储块组件的PIM 使能设备；以及主机单元，其通信耦合到所述PIM使能设备，用于在PIM使能 设备上布置计算图。所述主机单元包括存储一组指令集的存储器和一个或多个 处理器，所述处理器被配置为执行一组指令集以使主机单元执行：将计算图的 第一节点分配到存储块组件中的存储块的第一阵列的第一存储块上，将计算图 的第二节点分配到存储块组件中的存储块的第二阵列的第二存储块上，其中， 所述第一节点的输出数据用于提供给所述第二节点使用；其中，所述存储块组 件配置为支持经由所述存储块组件中的内部数据耦合，从所述第一存储块到所 述第二存储块的数据传输。

所公开实施例的附加特征和优点将在以下描述中部分阐述，并且部分 将从描述中显而易见，或者可以通过实施例的实践来获知。所公开的实施例的 特征和优点可以通过权利要求中所阐述的元件和组合来实现和获得。

应当理解，前述一般描述和以下详细描述仅是示例性和解释性的，并 不是对所公开实施例的限制；特此声明。