[发明专利]用于神经网络的计算平台实现方法及系统

说明书

本发明公开了一种用于神经网络的计算平台实现方法。所述计算平台从外部存储器读取所需数据，并且在片上缓存中缓存读取的所述数据以及各操作的中间计算结果，所述方法包括：从所述外部存储器读取第一操作所需特征图的第一部分数据，针对所述第一部分数据执行包括第一操作和至少一项其他操作，将针对所述第一部分数据的操作结果存储回所述外部存储器；从所述外部存储器读取第一操作所需特征图的第二部分数据，针对所述第二部分数据执行上述从所述外部存储器的读取操作、所述第一操作和所述至少一项其他操作、以及存储回所述外部存储器的操作。通过该方案，能够大幅减少片外存储与片上缓存间的数据搬运次数，从而提升整体处理速度。

技术领域

本发明涉及深度学习领域，尤其涉及一种用于神经网络的计算平台实现方法和相关系统。

背景技术

神经网络(Neural Network)近年来成为图像识别领域的研究热点。经过训练后的神经网络模型，可以用于图像分类、物体识别与显著性检测等诸多领域。近年来神经网络模型呈现计算规模增加、复杂度提升的趋势，利用传统的CPU平台，已无法满足其实用性需求。因此，利用FPGA、GPU等异构计算平台进行神经网络加速器设计成为新的研究热点。其中，FPGA由于其低功耗特点，相较GPU平台，能够获得更高的能量效率，同时FPGA可以快速迭代、可进行硬件重构的特性也更适应算法高速发展的要求。

当利用包含FPGA和GPU等的高并行度计算平台来执行神经网络推理时，相比于读取操作所需要参数的时间成本，计算所需的执行时间很短，这就导致了存储器读取成为了提高处理速度的瓶颈。

因此，仍然需要一种能够提升卷积神经网络计算平台整体处理效率的方案。

发明内容

为了解决上述至少一个问题，本发明提出了一种针对神经网络的计算平台实现方案，其能够在不改变计算图中底层计算结果的情况下，通过计算图的合理设计，基于层分解与融合尽量减少存储器和片上数据之间的搬运，更有效的利用硬件资源，提升神经网络，尤其是卷积神经网络计算平台的整理处理效率。

根据本发明的一个方面，提供了一种用于神经网络的计算平台实现方法，所述计算平台从外部存储器读取所需数据，并且在片上缓存中缓存获取的数据以及片上操作的中间计算结果，所述方法包括：从所述外部存储器读取第一操作所需特征图的第一部分数据，针对所述第一部分数据执行包括第一操作以及至少一项其他操作，将针对所述第一部分数据的操作结果存储回所述外部存储器；从所述外部存储器读取第一操作所需特征图的第二部分数据，针对所述第二部分数据执行上述从所述外部存储器的读取操作、所述第一操作以及所述至少一项其他操作以及存储回所述外部存储器的操作。

由此，通过对数据的复用减少不必要的存储器读取，从而提升整体处理效率。

所述特征图包括第一部分数据和至少一个第二部分数据，并且所述方法包括：针对每个第二部分数据，分别执行上述从所述外部存储器的读取操作、所述第一操作以及所述至少一项其他操作以及存储回所述外部存储器的操作，其中针对所述第一部分数据和所述至少一个第二部分数据的操作结果等价于针对所述特征图顺序执行所述第一操作以及至少一项其他操作的操作结果。

优选地，每次从所述外部存储器读取的部分数据的大小至少部分基于所述片上缓存的容量确定。

至少一个其他操作可以是如下至少一项：所述第一操作的至少一个后续操作，所述后续操作至少需要所述第一操作的完整计算结果以完成其全部操作；以及与所述第一操作具有相同特征图输入的至少一个横向操作。

在一个实施例中，第一操作和至少一个其他操作包括相继的卷积(CONV)操作、非线性(ReLU)操作和池化(POOL)操作。