[发明专利]用于深度学习应用的存储器带宽管理

说明书

在数据中心中，通过使用现场可编程门阵列(FPGA)或其他并行处理器，神经网络评估可以被包括以用于涉及图像或语音识别的服务。将来自外部存储器的加权的数据集提供给FPGA(或其他并行处理器)的存储器带宽限制可以通过以至少两个特征向量的批次对来自在FPGA(或其他并行处理器)处执行服务的多个核心的输入数据排队来管理。至少两个特征向量可以是来自相同数据流或来自不同数据流的至少两个观测向量。FPGA(或其他并行处理器)继而可以针对加权的数据集的每次加载对一批数据采取动作。

背景技术

人工智能(AI)应用涉及被制作为展现诸如学习、交流、感知、运动和操纵、以及甚至创作的智能行为的机器或软件。这些机器或软件可以通过诸如搜索和优化、逻辑、概率方法、统计学习以及神经网络的各种方法来实现这种智能行为。沿着这些思路，各种深度学习架构，例如包括深度多层感知机(MLP)的深度学习网络(深度NN)(常常被称为DNN)、卷积深度神经网络、深度信念网络、递归神经网络(RNN)、以及长短期记忆(LSTM)RNN，对于其应用到如计算机视觉、图像处理/识别、语音处理/识别、自然语言处理、音频识别、以及生物信息学等领域，已经获得了关注。

深度NN通常包括输入层、任意数量的隐藏层以及输出层。每个层包含特定量的单元，其可以遵循神经模型，并且每个单元对应于特征向量中的元素(例如输入数据集的观测向量)。每个单元通常使用加权的函数(例如，逻辑函数)来将其来自下层的总输入映射到被发送到上层的标量状态。(通常经由无监督机器学习)训练神经网络的层并且该层的单元被分配以权重。取决于神经网络层的深度，在系统中使用的权重的总数目可以是巨大的。

许多计算机视觉、图像处理/识别、语音处理/识别、自然语言处理、音频识别、以及生物信息学在对大量使用者和企业客户可用的服务进行支持的数据中心处被运行并管理。数据中心被设计为以模块化且灵活的方式运行并操作计算机系统(服务器、存储设备、以及其他计算机)、通信设备以及功率系统。数据中心工作负载要求高计算能力、灵活性、功率高效和低成本。能够加速大规模软件服务的至少一些部分可以实现期望的吞吐量并且使得这些数据中心能够满足它们的资源使用者的需求。然而，深度学习应用的逐渐增加的复杂度和可扩展性可能会加剧关于存储器带宽的问题。

发明内容

描述了用于加速神经网络评估的存储器带宽管理技术和系统。

在数据中心中，一种神经网络评估加速器可以包括支持并行处理的处理器(“并行处理器”)，例如现场可编程门阵列(FPGA)。此处理器与数据中心处的通用计算机处理单元(CPU)分离，在(来自CPU的核心的)来自相同或不同数据流的至少两个观测向量之后，其使用从外部存储器加载的权重数据集来执行一过程。通过在应用加权的数据集之前对至少两个流或者至少两个观测向量的输入数据排队，用于神经网络权重加载的存储器带宽要求可以被减少K倍，其中K是一批次中的输入数据集的数目。另外，通过使用支持并行处理的处理器，N个同时的流可以采用并行锁定步骤被处理以确保针对N个并行流的存储器带宽要求保持与针对单个流的存储器带宽要求相同。对于权重数据集的每次加载，这实现了N*K个输入数据集的吞吐量。

受益于包括数据中心处所托管的深度学习架构的服务可以包括FPGA上所执行的深度神经网络(深度NN)评估，其中该方法包括从片外存储加载第一权重数据集，在FPGA的输入处对一批至少两个特征向量排队，对该批次执行深度NN评估的第一层过程以生成中间结果，加载片外存储的第二权重数据集，并且对中间结果执行深度NN评估的第二层过程。在一些情况下，至少两个特征向量可以包括来自至少两个数据流，其中至少两个数据流来自对应的核心。在一些情况下，至少两个特征向量可以来自相同的数据流。在一些情况下，至少两个特征向量可以包括来自至少两个数据流中的每个数据流的至少两个观测向量。

提供本发明内容从而以简化的形式介绍下面在具体实施方式中进一步描述的一系列概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也并非旨在用于限制所要求保护的主题的范围。

附图说明

图1图示了提供用于深度学习应用的存储器带宽管理的示例操作环境。