[发明专利]基于卷积神经网络加速器的数据重用方法

说明书

本发明公开了一种基于卷积神经网络加速器的数据重用方法，包括瓦片扫描模块接收命令模块的命令信息，命令信息包括需要将CNN作业分割成瓦片块的尺寸；瓦片扫描模块根据瓦片块的尺寸生成瓦片块的坐标，并发送给内存请求模块；内存请求模块生成内存读取请求，并将内存读取请求发送到内存模块中；内存模块依次返回瓦片块数据到输入激活权重缓存单元中，输入激活权重缓存单元保存接收到的瓦片块数据从而实现数据重用并将接收到的瓦片块数据发送到计算处理单元PE。本发明可以节省内存总线带宽和功耗，在有限的缓存大小中最大化数据重用。

技术领域

本发明涉及卷积神经网络加速器技术领域，具体涉及一种基于卷积神经网络加速器的数据重用方法。

背景技术

卷积神经网络加速器在两个主要输入上操作，即“输入激活和权重。 IA数据（输入激活，Input Activation，简称IA）有3个维度，即W、H、C。权重数据有4个维度，即R、S、C、K。W、H、C、K可以是高达1024的大值。R、S可以是小值 （最高到5或7）。每个元素通常是16位数据。IA和权重数据需要有乘数和积累操作。典型的CNN加速器有大约1K个MAC单元。有了这种计算能力，它将需要大约50,000到3,000,000个周期才能完成CNN层的计算。加速器必须为MAC单元提供每个周期所需的所有输入IA和权重。系统的内存总线可以提供更少的带宽，因此它要求输入数据在加速器内部有很好的重用。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足提供一种基于卷积神经网络加速器的数据重用方法，本基于卷积神经网络加速器的数据重用方法可以节省内存总线带宽和功耗，在有限的缓存大小中最大化数据重用。

为实现上述技术目的，本发明采取的技术方案为：

一种基于卷积神经网络加速器的数据重用方法，包括执行数据重用方法的命令模块、瓦片扫描模块、内存请求模块、内存模块、输入激活权重缓存单元和计算处理单元PE；

包括以下步骤：

（1）瓦片扫描模块接收命令模块的命令信息，所述命令信息包括需要将CNN作业分割成瓦片块的尺寸；

（2）瓦片扫描模块根据瓦片块的尺寸生成瓦片块的坐标，并将瓦片块的坐标信息发送给内存请求模块中；

（4）内存请求模块根据瓦片块的坐标生成内存读取请求，并将内存读取请求发送到内存模块中；

（5）内存模块依次返回瓦片块数据到输入激活权重缓存单元中，输入激活权重缓存单元保存接收到的瓦片块数据从而实现数据重用并将接收到的瓦片块数据发送到计算处理单元PE。

作为本发明进一步改进的技术方案，所述的瓦片块的尺寸包括宽度维度上的尺寸、高度维度上的尺寸和权重维度上的尺寸。

作为本发明进一步改进的技术方案，所述的瓦片块的坐标包括宽度信息、高度信息和通道信息。

作为本发明进一步改进的技术方案，所述的步骤（2）还包括：瓦片扫描模块为瓦片块配置不同的计算处理单元PE；

配置方法包括：将相同的宽度信息、相同的高度信息且不同的通道信息的瓦片块数据分配给相同的计算处理单元PE。

作为本发明进一步改进的技术方案，所述的步骤（4）还包括：输入激活权重缓存单元保存接收到的瓦片块数据，并根据与接收到的瓦片块数据对应的瓦片块的配置方法将接收到的瓦片块数据发送到对应的计算处理单元PE中。

作为本发明进一步改进的技术方案，所述的CNN作业包括输入激活数据。

本发明的有益效果为：本发明可以通过对数据进行瓦片块分割处理，可以最大限度地重用输入激活权重缓存单元中的数据，并实现最小的内存访问带宽；在有限的缓存大小中最大化数据重用。

附图说明