[发明专利]基于CTPN网络的异构加速系统及方法

权利要求书

1.一种基于CTPN网络的异构加速系统，其特征在于，包括CPU端和FPGA端；

所述FPGA端包括第一子图和第二子图，所述CPU端包括第三子图；

所述第一子图包括CTPN网络的CNN部分，第二子图包括CTPN网络的RNN部分，所述第三子图包括CTPN网络的剩余部分；

所述第一子图的CNN部分与第二子图的RNN部分的分隔为CNN网络的CONV/Relu节点，第二子图的RNN部分与第三子图的分隔节点为RNN网络的Reshape_1节点；

所述第一子图和第二子图在FPGA端执行，所述第三子图在CPU端执行；

所述FPGA端的输出作为第三子图的输入；

所述CPU端最终实现网络推断，并得到最终结果。

2.根据权利要求1所述的基于CTPN网络的异构加速系统，其特征在于，所述CNN部分包括数据读取模块、卷积和激活函数计算模块、数据写回模块和池化计算模块，各模块之间通过FIFO连接并完成数据传输。

3.根据权利要求2所述的基于CTPN网络的异构加速系统，其特征在于，所述数据读取模块包括：采用多重循环展开和乒乓缓冲的方式搬运数据，利用内外部带宽减少外部存储器的访问。

4.根据权利要求2所述的基于CTPN网络的异构加速系统，其特征在于，所述卷积和激活函数计算模块包括：分别实现卷积和激活函数功能，采用多计算单元并行方式，通过缓冲器累加中间结果的方法提高计算速度，并且核心乘累加部分采用定制算子替换，进一步提高卷积计算的性能。

5.根据权利要求2所述的基于CTPN网络的异构加速系统，其特征在于，所述数据写回模块包括：采用多任务核心，提高数据写回外部存储器的并行度。

6.根据权利要求2所述的基于CTPN网络的异构加速系统，其特征在于，所述池化计算模块包括：采用多计算单元并行方式，采用分级大小比较的策略，同一行的数值位于第一级比较，每一行的最大值位于第二级比较，实现每次计算获取九个数最大值的功能，通过配置参数改变池化核大小。

7.根据权利要求1所述的基于CTPN网络的异构加速系统，其特征在于，所述RNN部分包括：LSTM权重读取模块、LSTM计算模块和中间数据调度模块，各模块之间通过FIFO连接，实现流水线执行。

8.根据权利要求7所述的基于CTPN网络的异构加速系统，其特征在于，所述LSTM权重读取模块包括：通过正向反向LSTM的共用减少对外部存储器的重复访问，提高数据提取的效率。

9.根据权利要求8所述的基于CTPN网络的异构加速系统，其特征在于，所述LSTM计算模块包括：接收LSTM权重读取模块通过channel发来的权重，特征图以及bias数据，将计算得到的新的记忆数据和输出数据发送给中间数据调度模块形成闭环，对分块的矩阵乘法在计算过程中实现分块不同精度量化；

所述中间数据调度模块包括：接收LSTM计算模块发送过来的新的记忆数据和输出数据并更新缓存。

10.一种基于CTPN网络的异构加速方法，其特征在于，采用权利要求1-9中任一种所述的基于CTPN网络的异构加速系统，包括：

步骤1：将RPN网络以子图的形式切割出来；

步骤2：调用软件接口对子图形式的RPN网络进行网络推断，得到最终结果，从而在CPU端实现RPN网络。