[发明专利]神经网络权值存储方法、读取方法及相关设备

说明书

本申请提供了一种神经网络权值存储方法、读取方法及相关设备，其中，该存储方法包括：在系统初始化时将神经网络首层的权值固化在静态随机存取存储器的静态内存中；获取静态随机存取存储器的循环缓存中所述神经网络各层的权值累积长度；根据权值累积长度将各层中的目标层的权值固化在静态内存中；执行下一次获取权值累积长度的操作，重复执行多次获取权值累积长度的操作，直至各层中不存在目标层；根据各层中不存在目标层时对应的权值累积长度设定循环缓存的大小。本申请实施例有利于解决循环缓存上溢和下溢的问题，从而使芯片达到较优的吞吐量，进而降低芯片的功耗和成本。

技术领域

本申请涉及计算机技术领域，尤其涉及一种神经网络权值存储方法、读取方法及相关设备。

背景技术

随着AI(Artificial Intelligence，人工智能)芯片的计算能力越来越强，神经网络模型越来越深，AI处理器在进行训练或推理时，需要读取大量的权值数据用于计算。为了降低芯片的功耗和成本，相关人员在神经网络权值存储方面做了深度研究，目前主流的存储方案有高速DDR(Double DataRate，双倍速率同步动态随机存储器)结合Cache缓存，或者采用超大容量的SRAM (Static Random-Access Memory，静态随机存取存储器)，进一步还有采用乒乓缓存的方案。然而，上述方案仍然存在种种弊端，比如传输带宽大、存储占用空间大或者难以使芯片的吞吐量达到较优状态，导致芯片的功耗和成本居高不下。

发明内容

针对上述问题，本申请提供了一种神经网络权值存储方法、读取方法及相关设备，有利于使芯片的吞吐量达到较优状态，从而降低芯片的功耗和成本。

为实现上述目的，本申请实施例第一方面提供了一种神经网络权值存储方法，应用于直接存储器访问控制器，该方法包括：

直接存储器访问控制器在系统初始化时将神经网络首层的权值固化在静态随机存取存储器的静态内存中；

直接存储器访问控制器获取静态随机存取存储器的循环缓存中所述神经网络各层的权值累积长度；

直接存储器访问控制器根据权值累积长度将各层中的目标层的权值固化在静态内存中；

直接存储器访问控制器执行下一次获取权值累积长度的操作，重复执行多次获取权值累积长度的操作，直至各层中不存在目标层；

直接存储器访问控制器根据各层中不存在目标层时对应的权值累积长度设定循环缓存的大小。

结合第一方面，在一种可能的实施方式中，直接存储器访问控制器获取静态随机存取存储器的循环缓存中神经网络各层的权值累积长度，包括：

直接存储器访问控制器在系统未运行的情况下，对循环缓存中各层的累积权值进行曲线拟合，得到权值累积长度曲线；

直接存储器访问控制器根据权值累积长度曲线得到各层的权值累积长度；

或者，

直接存储器访问控制器在系统运行的情况下，实时监测循环缓存的缓存空间的大小，得到权值累积长度。

结合第一方面，在一种可能的实施方式中，直接存储器访问控制器对循环缓存中各层的累积权值进行曲线拟合，得到权值累积长度曲线，包括：

直接存储器访问控制器根据处理器的计算能力、双倍速率同步动态随机存储器的传输带宽、循环缓存中各层的权值长度以及预设参数对循环缓存中各层的累积权值进行曲线拟合，得到权值累积长度曲线。

结合第一方面，在一种可能的实施方式中，权值累积长度曲线的公式如下：