[发明专利]使用自适应3D阵列的卷积神经网络

说明书

一种在卷积神经网络中构造自适应乘法累加层的方法，所述方法包括确定激活数据图宽度、激活数据图高度、通道深度、批量、核宽度、核高度和滤波器组数量；基于激活数据图宽度来设置自适应乘法器层的第一维度；基于通道深度来设置自适应乘法器层的第二维度；基于滤波器组数量来设置自适应乘法器层的第三维度；以及基于第一维度、第二维度和第三维度来构造自适应乘法器层。

技术领域

目前的公开涉及卷积神经网络，并且尤其提高了乘法累加的计算效率。

现有技术

卷积层处理本质上是多维的(4-D)。激活数据的4个维度为激活数据图宽度(W)，激活数据图高度(H)，通道深度(D)和批量(B)；对应的滤波器权重的4个维度为核宽度(Ky)，核高度(Kx)，通道深度(D)和数量(N)。为了计算最终的卷积输出，使用了八层嵌套循环。如果一个批量的输入被处理以及一个层的输出，则使用六个嵌套层的循环W x H x D x Ky xKx x N。

发明内容

在卷积神经网络中构造自适应乘法累加层的第一示例方法包括以下中的至少一个：确定激活数据图宽度、激活数据图高度、通道深度、批量、核宽度、核高度和滤波器组数量；基于激活数据图宽度来设置自适应乘法器层的第一维度；基于通道深度来设置自适应乘法器层的第二维度；基于滤波器组数量来设置自适应乘法器层的第三维度；以及基于第一维度、第二维度和第三维度来构造自适应乘法器层。

附图说明

在图中：

图1为根据本公开一个实施例的第一示例系统图。

图2为根据本公开一个实施例的第二示例系统图。

图3为根据本公开一个实施例的示例自适应乘法累加。

图4为根据本公开一个实施例的嵌套乘法累加的示例。

图5为根据本公开一个实施例的自适应乘法累加的输入和输出的示例。

图6为根据本公开一个实施例的自适应乘法累加的示例方法。

具体实施方式

以下列出的实施例仅用于说明该装置和方法的应用，而不是限制其范围。对该装置和方法的等价形式的修改应纳入权利要求的保护范围之内。

贯穿以下描述和权利要求所使用某些术语来指代特定系统组件。如本领域技术人员将理解的，不同的公司可以通过不同的名称来指代组件和/或方法。本文无意区分这些名称不同但功能类似的组件和/或方法。

在以下的描述以及权利要求中，术语“包括”和“包含”以开放式的形式使用，因此可以理解为“包括但不限于……”。此外，术语“耦合”旨在表示间接或直接连接。因此，如果第一设备耦合到第二设备，则该连接可以是直接连接或是经由其他设备和连接的间接连接。

图1描绘了可用于实现与过程600的一个或多个部分或步骤的操作相关联的神经网络的混合计算系统100的示例。在该示例中，与混合系统相关联的处理器包括现场可编程门阵列(FPGA)122，图形处理器单元(GPU)120和中央处理单元(CPU)118。

处理单元118、120和122中的每一个都能够提供神经网络。CPU是可以执行许多不同功能的通用处理器，其通用性导致了能够执行多个不同的任务。然而，CPU对多个数据流的处理是有限的，并且其对于神经网络的功能是非常有限的。GPU是图形处理器，其具有许多小的处理核，这些小的处理核能够依次处理并行任务。FPGA是现场可编程设备，其能够以硬连线电路方式重新配置并执行可以被编程到CPU或GPU中的任何功能。由于FPGA的编程采用电路形式，因此其速度比CPU快许多倍，并且明显快于GPU。