[发明专利]神经网络计算方法、装置和存储介质

权利要求书

1.一种神经网络计算方法，其特征在于，该方法包括以下步骤：

用片上缓存模块对片外输入数据、神经网络计算参数数据以及神经网络计算中的中间计算结果数据进行缓存；

基于预定的神经网络计算模式将缓存的片外输入数据或中间计算结果数据进行数据流重新定向操作以根据负载特性调整数据映射方式，并输入到计算模块中；

基于预定的神经网络计算模式将缓存的神经网络计算参数数据进行数据流重新定向操作以根据负载特性调整数据映射方式，并输入到所述计算模块中，所述计算模块包括多个基本处理单元，每个基本处理单元包括：基本运算器和控制器，所述控制器用于按照预定的运算模式控制基本运算器的运算操作；各基本处理单元按照最简元方式以二维方式连接，不同行的基本处理单元按照从预先设置的多种计算模式中选择的一种预定计算模式对应的连接方式连接；

由所述计算模块基于重新定向操作后的片外输入数据或中间计算结果数据以及经重新定向操作后的神经网络计算参数数据按照预定的运算模式进行神经网络计算，并将中间计算结果缓存到所述片上缓存模块中。

2.根据权利要求1所述的方法，其特征在于，每个基本处理单元还包括：局部寄存器，用于局部存储操作数据和/或结果数据；

每个基本处理单元的基本运算器包括以下基本运算器中的至少一种：乘法器、加法器和非线性操作器；

每个基本处理单元的控制器用于按照预定的运算模式控制所述局部寄存器中数据的存取以及所述基本运算器的运算操作。

3.根据权利要求1所述的方法，其特征在于，所述片上缓存模块包括：第一片上缓存模块、第二片上缓存模块和第三片上缓存模块；

所述第一片上缓存模块用于对片外输入数据进行缓存；

所述第二片上缓存模块用于对神经网络计算参数数据进行缓存；

所述第三片上缓存模块用于对神经网络计算中的中间计算结果数据进行缓存。

4.根据权利要求3所述的方法，其特征在于：

所述第一片上缓存模块和所述第三片上缓存模块按照乒乓缓存方式工作；

所述数据流重新定向操作包括以下操作中的至少一种：数据交叉、数据广播复制以及数据交换。

5.根据权利要求3所述的方法，其特征在于，所述将中间计算结果缓存到所述片上缓存模块中的步骤包括：

将中间计算结果进行重定向操作并缓存到所述第三片上缓存模块中。

6.一种神经网络计算装置，该装置包括：

片上缓存模块，其用于对片外输入数据、神经网络计算参数数据以及神经网络计算中的中间计算结果数据进行缓存；

第一重定向模块，其基于预定的神经网络计算模式将缓存的片外输入数据或中间计算结果数据进行数据流重新定向操作以根据负载特性调整数据映射方式，并输入到计算模块中；

第二重定向模块，其基于预定的神经网络计算模式将缓存的神经网络计算参数数据进行数据流重新定向操作以根据负载特性调整数据映射方式，并输入到所述计算模块中；

所述计算模块，其基于重新定向操作后的片外输入数据或中间计算结果数据以及经重新定向操作后的神经网络计算参数数据按照预定的运算模式进行神经网络计算，并将中间计算结果缓存到所述片上缓存模块中，所述计算模块包括多个基本处理单元，每个基本处理单元包括：基本运算器和控制器，所述控制器用于按照预定的运算模式控制基本运算器的运算操作；各基本处理单元按照最简元方式以二维方式连接，不同行的基本处理单元按照从预先设置的多种计算模式中选择的一种预定计算模式对应的连接方式连接。

7.根据权利要求6所述的装置，其特征在于：

每个基本处理单元还包括：局部寄存器，用于局部存储操作数据和/或结果数据；

每个基本处理单元的基本运算器包括以下基本运算器中的至少一种：乘法器、加法器和非线性操作器；以及

每个基本处理单元的控制器用于按照预定的运算模式控制所述局部寄存器中数据的存取以及所述基本运算器的运算操作。