[发明专利]一种基于FPGA的图卷积神经网络的流水线结构

说明书

本发明公开了一种基于FPGA的图卷积神经网络的流水线结构。其用一个流水线形式的缓存来链接结合模块和聚合模块，同时每一层图卷积神经网络先进行结合模块的计算，然后将其结果送入中间的流水线中，再进入聚合模块。所述各个模块的输入和输出都是矩阵的形式，结合模块一列一列地依次输出，一次输出一列的数据进入流水线，再将这一列的数据进入聚合模块，以使得聚合模块直接计算矩阵和一列数据的乘法，也就是矩阵和向量的乘法。本发明的结构中结合模块以及聚合模块内部能够并行计算，并且这两个模块之间使用流水线的方式相连，能减少整个神经网络的推理过程的延迟。

技术领域

本发明属于FGPA技术领域，具体的说，涉及一种基于FPGA的图卷积神经网络的结合、聚合模块的流水线结构。

背景技术

图卷积神经网络(Graph Convolutional Network, GCN)是一种针对图结构（Graph）的数据的特征提取器。图结构数据包含三个基本元素，结点、结点之间的连线、每个结点的特征向量。GCN通过对每个结点的全部邻点提取特征向量，进行线性计算，从而提取出整个图的特征。GCN的计算过程比较简单，可以分为结合（Combination）和聚合（Aggregation）两个步骤，总共包括了稀疏矩阵乘法、密集矩阵乘法以及激活函数Relu三种计算。其中，结合的步骤包含了密集矩阵的乘法，聚合的步骤包含了稀疏矩阵的乘法，不同的GCN层之间则通过Relu激活函数连接起来。

现场可编程门阵列（Field Programmable Gate Array,FPGA）有着低功耗、低成本、高可重构性、高稳定性等特点，现在有着广阔的发展前景。此外，FPGA有着很大的并行度。FPGA中的硬件资源统一受时钟信号的控制，不同的计算单元可以相互之间独立运行，对于并行的程序有着很强的加速能力。我们可以通过FPGA，来对GCN的推理过程进行加速。

GCN的主要计算难点，在于矩阵的数据量非常庞大，并且还包含了稀疏矩阵的乘法计算，使得GCN的推理过程变得难以优化。普通矩阵乘法以及稀疏矩阵乘法的串行，是GCN的一个显著的特点。如何处理稀疏矩阵乘法和密集矩阵乘法，是GCN加速器面临着的一个很大的问题。

稀疏矩阵的乘法和密集矩阵的乘法有着很大的不同。密集矩阵在做乘法运算时，复杂度和矩阵的行数、列数都成正比，在矩阵规模变大时，乘法的复杂度也会快速上升。而稀疏矩阵的乘法的复杂度和矩阵的大小无关。由于稀疏矩阵的非零元素非常少，在存储时只会保留其中的非零元素及其行号、列号，因此稀疏矩阵的乘法的复杂度和稀疏矩阵中的非零元素的个数成正比，而与矩阵的行数、列数无关。在硬件实现时，对于稀疏矩阵乘法和密集矩阵乘法通常是分开来计算的。用不同的硬件模块来分别实现。

对于图卷积神经网络来说，想要通过硬件来实现GCN推理过程的加速，就必须要协调好稀疏矩阵乘法和密集矩阵乘法这两大模块，尽可能减少二者之间的延迟。

图卷积神经网络可以划分为两个主要的模块：结合（Combination）和聚合（Aggregation）。聚合模块完成了稀疏矩阵乘法的运算，结合模块完成了密集矩阵乘法的运算，而这两个模块是串行的，两者之间也需要有数据传输的过程。

现有的图卷积神经网络的硬件加速器，大体上可以分为两种实现方式。其一是统一式架构，结合模块和聚合模块都有同一个硬件模块来实现，由控制信号来控制具体的功能。统一式架构中，比较具有代表性的是Engn。其二是分段式的架构，聚合模块和结合模块分别用两个硬件模块来实现，用缓冲来储存中间的结果，从而实现两个模块之间的通信。分段式的架构中，比较有代表性的是Hygcn。

从硬件实现的角度，使用分段式的架构更加便于开发，因为这种实现方式思路明确，也更加容易优化和加速。不过现有的架构中，结合模块和聚合模块之间都是串行连接的。以Hygcn为例，这个架构是先运行聚合模块，再运行结合模块，两个模块之间有一个比较大的缓存，用来储存中间的结果，两个模块的计算是串行的。我们认为这种计算方式还是有着一定的优化空间，可以使用流水线的方式连接图卷积神经网络的两个模块，可以进一步降低延迟，实现图卷积神经网络推理过程的加速。