[发明专利]神经网络运行方法、装置、电子设备及存储介质

权利要求书

1.一种神经网络运行方法，其特征在于，包括：

确定目标神经网络中的待处理网络层；

从确定的多个算子和多种分块策略中，确定所述目标神经网络中所述待处理网络层对应的目标算子和目标分块策略；所述多个算子中的每个算子均用于实现所述待处理网络层对应的功能，所述多种分块策略中的每个分块策略均匹配用于运行所述目标神经网络的计算设备的运行要求；

基于所述待处理网络层对应的所述目标分块策略，运行包含所述目标算子的所述目标神经网络。

2.根据权利要求1所述的方法，其特征在于，所述分块策略用于对所述待处理网络层对应的目标算子的参数数据进行分块；

在所述多种分块策略中，基于采用所述目标分块策略对所述目标算子的参数数据进行分块得到的参数数据，运行所述待处理网络层的资源消耗最小。

3.根据权利要求1或2所述的方法，其特征在于，在所述待处理网络层为多个的情况下，所述从确定的多个算子和多种分块策略中，确定所述目标神经网络中待处理网络层对应的目标算子和目标分块策略，包括：

针对所述目标神经网络中的每个待处理网络层，从所述多个算子中确定所述待处理网络层对应目标候选算子、并从所述多种分块策略中确定与所述目标候选算子匹配的目标候选分块策略；

在存在任一待处理网络层对应的所述目标候选算子为多个和/或所述目标候选分块策略为多个的情况下，基于各个待处理网络层分别对应的目标候选算子和目标候选分块策略，确定每个待处理网络层对应的所述目标算子和所述目标分块策略。

4.根据权利要求3所述的方法，其特征在于，所述基于各个待处理网络层分别对应的目标候选算子和目标候选分块策略，确定每个待处理网络层对应的所述目标算子和所述目标分块策略，包括：

基于各个待处理网络层分别对应的目标候选算子、和与所述目标候选算子对应的目标候选分块策略，确定所述目标神经网络对应的多个测试网络；其中，每个测试网络中包括各个所述待处理网络层对应的一个所述目标候选算子、和与该目标候选算子匹配的一个目标候选分块策略；

分别运行所述多个测试网络，得到多个测试结果，其中，每个测试网络对应一个测试结果；

基于所述多个测试结果，从所述多个测试网络中选取目标测试网络；

将所述目标测试网络中所述待处理网络层的目标候选算子和目标候选分块策略，确定为所述目标神经网络中所述待处理网络层对应的所述目标算子和目标分块策略。

5.根据权利要求3或4所述的方法，其特征在于，所述针对所述目标神经网络中的每个待处理网络层，从所述多个算子中确定所述待处理网络层对应目标候选算子、并从所述多种分块策略中确定与所述目标候选算子匹配的目标候选分块策略，包括：

针对所述待处理网络层，从所述多个算子中，确定一个或多个第一候选算子；

基于所述第一候选算子在所述多种分块策略中的每种分块策略下的资源消耗情况，从所述第一候选算子、和所述多种分块策略中，选择所述待处理网络层对应的一个或多个目标候选算子、以及与所述目标候选算子对应的目标候选分块策略。