[发明专利]可扩展的并行卷积数据输出装置及其输出方法

说明书

本申请涉及人工智能相关的FPGA、ASIC技术领域，公开了一种可扩展的并行卷积数据输出装置及其输出方法，可以提高卷积运算的数据吞吐率。该装置包括：数据存储器，被配置为存储需要参加卷积的数据子块；数据读取模块，被配置为向数据存储器发送数据读取指令，从数据子块中读取大小为K*BW的数据块输出到行缓冲模块，其中，BW＝K+DN‑1，DN＝WS/DS，K为卷积核尺寸，WS为数据存储器每个地址的字长，DS为每个数据的比特数；行缓冲模块包括K行BW列的缓存和用于输出的DN个通道；行缓冲模块被配置为，将来自数据读取模块的数据写入缓存，当缓存的一行写入完成后，将该行的BW个数据通过DN个通道输出。

技术领域

本申请涉及人工智能深度学习技术领域和FPGA、ASIC技术领域，特别涉及卷积运算阵列的设计技术的产品级实现，为FPGA硬件设计和人工智能ASIC设计的底层组成部分。

背景技术

本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是已被公开的现有技术。

在人工智能领域CNN神经网络的实现过程是对大数据量进行运算的过程。在CNN神经网络中，算力主要需求为乘累加运算。而为提高算力，使用MAC ARRAY成为通用设计方法。MAC ARRAY的规模以及使用效率代表着算力的上限，而向MAC ARRAY传输数据的效率则限制着MAC ARRAY的有效算力，所以如何快速、高效的向MAC计算单元传输数据成为卷积计算网络的设计重点。

例如，申请号为CN202210156894.8的中国专利申请《用于卷积运算的数据加载方法及其装置》通过对纹理图的拆分，形成多路纹理子图以及缓存模式，对MAC计算模块进行输出，实现加速过程。

在目前的现有技术中，卷积数据的接收、块分配设计已经比较成熟，但在卷积数据的多路并行发送上，因为电路内部SRAM(数据RAM)自身所具有的固定延时，以及MAC ARRAY的回写等待的共同作用，使得数据发送过程的空窗期较多，数据传输的效率不充分。另外为提高总线传输效率，数据存储的RAM位宽较宽(一般在32bit以上)，而输出数据的位宽较窄(CNN网络中常用为8bit)，若每个发送模块只进行一路数据输出，则缓存的读出效率会降低。

发明内容

本申请的目的在于提供一种可扩展的并行卷积数据输出装置及其输出方法，可以提高卷积运算的数据吞吐率。

本申请公开了一种可扩展的并行卷积数据输出装置，包括：

数据存储器，被配置为存储需要参加卷积的数据子块；

数据读取模块，被配置为向所述数据存储器发送数据读取指令，从所述数据子块中读取大小为K*BW的数据块输出到行缓冲模块，其中，BW＝K+DN-1，DN＝WS/DS，K为卷积核尺寸，WS为所述数据存储器每个地址的字长，DS为每个数据的比特数；

所述行缓冲模块包括K行BW列的缓存和用于输出的DN个通道；所述行缓冲模块被配置为，将来自所述数据读取模块的数据写入所述缓存，当所述缓存的一行写入完成后，将该行的BW个数据通过所述DN个通道输出。

在一个优选例中，还包括虚拟计算模块；

所述虚拟计算模块被配置为维护所述行缓冲模块的所述缓存中各行的虚拟状态，根据来自所述数据读取模块的写行号、写列号和写长度更新所述缓存中各行的虚拟状态并反馈至所述数据读取模块，根据所述缓存中各行的虚拟状态计算出读行号和读列号，将所述写行号、写列号、写长度、读行号和读列号发送到所述行缓冲模块；

所述行缓冲模块还被配置为，根据来自所述虚拟计算模块的写行号、写列号和写长度将来自所述数据存储器的数据写入所述缓存中相应的行，以及，根据来自所述虚拟计算模块的读行号和写行号将所述缓存中相应行中的数据输出至相应的通道；