[发明专利]基于CTPN网络的异构加速系统及方法

说明书

本发明提供了一种基于CTPN网络的异构加速系统及方法，包括CPU端和FPGA端；所述FPGA端包括第一子图和第二子图，所述CPU端包括第三子图；所述第一子图包括CTPN网络CNN部分，第二子图包括RNN部分，所述第三子图包括CTPN网络剩余部分；所述第一子图和第二子图在FPGA端执行，所述第三子图在CPU端执行；所述FPGA端的输出作为第三子图的输入；所述CPU端最终实现网络推断，并得到最终结果。本发明可以在精度下降很小的情况下，大幅度提高CTPN网络的推断速度，让加速器更好地实现实时场景文字识别的功能。

技术领域

本发明涉及神经网络加速器领域，具体地，涉及一种基于CTPN网络的异构加速系统及方法。

背景技术

连接文本提议网络CTPN网络(Connectionist Text Proposal Network)，是2016年提出的一种用于场景文字识别的神经网络，实际上是一种基于CNN+RNN结构的神经网络。其中CNN用于提取深度特征，RNN用于字符序列特征识别。此网络发挥了CNN与RNN各自的优点，其中RNN还使用了双向LSTM(BiLSTM)从图片的不同方向来进行文字的识别和推测，使得文字检测精度大大提高。因为场景文字识别的各种应用场合都要求网络识别推断尽可能快速，所以对CTPN网络实施硬件加速就显得尤为重要。但是其复杂的网络结构使得硬件加速由于资源限制而变得不易实现，所以对该网络实现异构加速是一个有效的解决方案。

专利文献CN110992241A(申请号：CN201911150838.8)公开了一种异构嵌入式系统及其加速神经网络目标检测的方法。所述异构嵌入式系统包括CPU和GPU，所述方法包括：从数据源获取图像数据；使用所述GPU对所述图像数据进行第一处理；所述CPU对经过所述第一处理的数据进行第二处理，输出目标检测结果；其中，所述第二处理包括非极大值抑制和/或后处理，所述第一处理为所述神经网络目标检测的计算过程中除所述第二处理之外的其他处理。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于CTPN网络的异构加速系统及方法。

根据本发明提供的基于CTPN网络的异构加速系统，包括CPU端和FPGA端；

所述FPGA端包括第一子图和第二子图，所述CPU端包括第三子图；

所述第一子图包括CTPN网络的CNN部分，第二子图包括CTPN网络的RNN部分，所述第三子图包括CTPN网络的剩余部分；

所述第一子图的CNN部分与第二子图的RNN部分的分隔为CNN网络的CONV/Relu节点，第二子图的RNN部分与第三子图的分隔节点为RNN网络的Reshape_1节点；

所述第一子图和第二子图在FPGA端执行，所述第三子图在CPU端执行；

所述FPGA端加速部分的输出作为第三子图的输入；

所述CPU端最终实现网络推断，并得到最终结果。

优选的，所述CNN部分包括数据读取模块、卷积和激活函数计算模块、数据写回模块和池化计算模块，各模块之间通过FIFO连接并完成数据传输。

优选的，所述数据读取模块包括：采用多重循环展开和乒乓缓冲的方式搬运数据，利用内外部带宽减少外部存储器的访问。

优选的，所述卷积和激活函数计算模块包括：分别实现卷积和激活函数功能，采用多计算单元并行方式，通过缓冲器累加中间结果的方法提高计算速度，并且核心乘累加部分采用定制算子替换，进一步提高卷积计算的性能。

优选的，所述数据写回模块包括：采用多任务核心，提高数据写回外部存储器的并行度。