[发明专利]一种基于FPGA的深度卷积神经网络的流水化加速系统

摘要

本发明提出了一种基于FPGA的深度卷积神经网络的流水化加速系统，该流水化加速系统主要由输入数据分配控制模块、输出数据分配控制模块、卷积计算顺序序列化实现模块、池化计算顺序序列化实现模块、卷积计算模块、池化计算模块和卷积计算结果分配控制模块组成，此外所述流水化加速系统还包含一个内部系统级联接口。按照本发明设计的流水化加速系统，能够在FPGA上高效并行流水化实现，并且有效地解决了计算过程中由于各类填充操作而导致的资源浪费和有效计算延误问题，能有效地降低系统功耗和大大提高运算处理速度。

主权项

1.一种基于FPGA的深度卷积神经网络的流水化加速系统，其特征在于，该系统包括：输入数据分配控制模块、输出数据分配控制模块、卷积计算顺序序列化实现模块、池化计算顺序序列化实现模块、卷积计算模块、池化计算模块和卷积计算结果分配控制模块，此外所述流水化加速系统还包含一个内部系统级联接口；所述输入数据分配控制模块同时与FPGA外围接口和所述内部系统级联接口、卷积计算顺序序列化实现模块相连；所述输出数据分配控制模块同时与FPGA外围接口和所述内部系统级联接口、卷积计算结果分配控制模块以及池化计算模块相连；所述卷积计算结果分配控制模块同时与所述卷积计算模块、输出数据分配控制模块以及池化计算顺序序列化实现模块相连；所述卷积计算顺序序列化实现模块与卷积计算模块之间直接相连；所述池化计算顺序序列化实现模块与池化计算模块之间直接相连；所述输入数据分配控制模块实时监视所述卷积计算顺序序列化实现模块的数据消耗状况，向DDR片外存储器发送相关读数据命令并及时接收FPGA外围接口和所述内部系统级联接口传送来的输入数据，除此之外，所述输入数据分配控制模块还需将接收到的数据传送给所述卷积计算顺序序列化实现模块；所述输出数据分配控制模块接收所述池化计算模块或所述卷积计算结果分配控制模块传送来的输入数据，并根据当前所处的计算阶段将接收到的数据传送给所述内部系统级联接口或所述FPGA外围接口，向所述DDR片外存储器发送相关写数据命令和相关中断通知；除此之外，所述输出数据分配控制模块还实时响应所述FPGA外围接口发送的命令；所述卷积计算顺序序列化实现模块结合调整参数将深度卷积神经网络中相关卷积操作的结构化计算顺序序列化，并为所述卷积计算模块及时传送序列化后的数据集；所述池化计算顺序序列化实现模块结合相关调整参数将深度卷积神经网络中相关池化操作的结构化计算顺序序列化，并为所述池化计算模块及时传送序列化后的数据集；所述卷积计算模块完成深度卷积神经网络中的相关卷积计算，并将计算结果及时传送给所述卷积计算结果分配控制模块；所述池化计算模块完成深度卷积神经网络中的相关池化操作，并将计算结果及时传送给所述输出数据分配控制模块；所述卷积计算结果分配控制模块接收所述卷积计算模块传来的计算结果数据，并根据当前所处的计算阶段将接收到的数据有组织有规格地传送给所述池化计算顺序序列化实现模块或所述输出数据分配控制模块；所述内部系统级联接口为所述FPGA片上系统内部子系统之间的级联或内部模块之间的连接提供有效接口，用于连接所述输出数据分配控制模块和输入数据分配控制模块。