[发明专利]一种基于GPGPU可重构架构的方法及计算系统

说明书

本发明公开了一种基于GPGPU可重构架构的方法及计算系统，方法包括根据计算中矩阵乘法或卷积运算的参与程度，选择架构模式，其中，所述架构模式包括通用图形处理器模式和混合脉动阵列模式；当选择通用图形处理器模式时，计算系统中的寄存器被配置为以通用图形处理器的通用矩阵乘法方式进行数据存取与运算；当选择混合脉动阵列模式时，计算系统中的寄存器被配置为以混合脉动阵列的直接卷积方式进行数据存取与运算。计算系统包括寄存器，寄存器的架构模式使用上述方法进行配置。本发明公开的基于GPGPU可重构架构的方法及计算系统，对于不同场景的需要，能够进行灵活配置，既可以满足通用性需求，还弥补了专用加速器灵活性不足的缺点。

技术领域

本发明涉及计算领域，更具体涉及一种基于GPGPU可重构架构的方法及计算系统。

背景技术

深度神经网络（DNN）是当前人工智能（AI）应用的基础，例如：语音识别、图像识别、视频处理、自动驾驶、癌症检测、游戏对抗等，而且在部分领域，DNN已经超过了人类的精确性。

图1显示了一个较为简单的神经网络计算过程：输入层的神经元将接收到的信息传递到神经网络中间层（也称为隐藏层），而隐藏层的“权重和”最终会传输到输出层，并最终呈现给用户。通常会把神经元的输入或输出称为“激活”（activation），而把突触称为“权重”（weight）。在本发明中，包括说明书及其附图中，后续会使用activation/weight、激活/权重、输入或输出/权重。本领域技术人员应该理解，这些术语是可以替换使用的。

图2展示了每层的计算：

W_ij是权重，x_i是输入激活，y_j是输出激活，f(.)是一个非线性函数，b则是偏置。

一种常用的DNN形式被称为卷积神经网络（CNN），含有多个卷积（CONV）层。在这样的网络中，每层都会产生输入数据的高层次抽象，称为特征图（fmap或feature map）。一个典型的CNN模型如图3所示，会包含5到1000个CONV层，以及在CONV层之后包含1到3层的全连层。其余包含的非线性层、归一化层、池化层等，因为功耗极小不在本文讨论范围内。

一个2维卷积输入包括输入特征图（input fmap）和卷积核（filter或者称为weight），操作如下：

1）输入特征图是H * W的矩阵，比如28x28的图片像素，卷积核是R * S的矩阵，比如3x3核，如图4所示；

2）使用卷积核和输入特征图左上角对应大小的矩阵对应元素相乘并相加得到输出特征图最左上角的一个元素。对应相乘的操作，如图5所示；

3）滑动卷积核与输入特征图对应大小矩阵继续对应元素相乘并得到输出特征图下一个元素，如图6所示。

当输入特征图具有多个通道（channel），一个具体的实例就是图片从黑白图片变成了彩色图片，于是具有RGB三个通道，则卷积操作变成图7所示，每个通道都有独立的输入特征图和卷积核，不同通道之间最终进行加法合并操作。

当输入特征图具有多个（比如N个）图片，且拥有多个卷积核（比如M个）时，卷积操作则为图8所示。

如此，得到了最终多维卷积操作公式如下：

式中各个参数的含义如下：

O 输出特征图矩阵；

I 输入特征图矩阵；

W 卷积核矩阵；

B 偏置矩阵；

N 三维特征图批次大小；

M 三维卷积核数目/输出特征图通道数目；