[发明专利]实现和执行神经网络的方法及计算机可读介质

权利要求书

1.一种实现神经网络的方法，包括：

接收用于经训练的神经网络的数据，包括特征图和权重；

重排序经训练的神经网络的特征图和/或权重，以生成经训练的神经网络的重排序的版本；以及

在执行重排序之后，压缩经训练的神经网络的重排序的版本的权重。

2.根据权利要求1所述的方法，其中所述重排序包括重排序神经网络的特征图以重排序神经网络的权重。

3.根据权利要求1所述的方法，其中所述重排序包括重排序神经网络的权重，以具有被选择为与所接收的数据的权重相比改进压缩效率的结构。

4.根据权利要求1所述的方法，其中所述重排序包括基于负载均衡考虑重排序权重中的至少一些以分布权重。

5.根据权利要求1所述的方法，其中所述重排序包括按权重值对至少一些权重进行分组。

6.根据权利要求5所述的方法，其中至少一些零值权重被分组。

7.根据权利要求1所述的方法，还包括在重排序之前通过将第一数量的不同权重值内的权重映射到第二数量的不同权重值来聚类权重，其中第二数量小于第一数量。

8.根据权利要求1所述的方法，还包括在压缩之前将重排序的输入和输出节点的权重的索引重排序。

9.根据权利要求1所述的方法，其中所述经训练的神经网络的重排序的版本是经训练的神经网络的等效版本。

10.根据权利要求1所述的方法，其中所述重排序包括生成用于神经网络的重映射表，以实现特征图的重映射来实现经训练的神经网络的重排序的版本。

11.一种执行神经网络的方法，包括：

提供神经网络的模型，其中所述模型对应于通过重排序经训练的神经网络的特征图和/或权重而生成的经训练的神经网络的重排序的版本；以及

执行神经网络的模型。

12.根据权利要求11所述的方法，其中执行所述模型包括跳过具有全零的权重的组的执行。

13.根据权利要求11所述的方法，其中执行所述模型包括在卷积模式中跳过分布的零值权重的执行。

14.根据权利要求11所述的方法，其中所述重排序的版本包括基于用于在一组并行处理输入单元上执行的负载平衡条件对权重的排序。

15.根据权利要求11所述的方法，其中所述神经网络的模型在一组并行处理输入单元上执行，并且所述重排序的版本具有基于负载平衡条件分布的非零权重值，使得对于至少一个卷积层，每个并行处理单元在多个周期中以每个周期大约相同的非零权重平均数来操作。

16.根据权利要求11所述的方法，其中所述模型包括用于神经网络的重映射表，以实现特征图的重映射来实现经训练的神经网络的重排序的版本。

17.根据权利要求16所述的方法，其中所述重映射表在执行期间被硬件利用以执行特征图的重排序。

18.根据权利要求11所述的方法，其中所述重排序的版本是与经训练的神经网络等效的网络或经训练的神经网络的优化的版本。

19.根据权利要求11所述的方法，其中所述神经网络的权重以压缩格式存储，并且所述方法还包括：

读取压缩的权重；

解压缩所述压缩的权重；

跳过零值权重的执行，包括以下中的至少一个：跳过对于全连接层所有权重为零的权重的任何聚类、或者跳过对于卷积层的分散的零值权重的执行；以及

应用剩余的解压缩的权重用于神经网络执行。

20.一种计算机可读介质，包括存储指令的存储介质，当在处理器上执行所述指令时实现方法，所述方法包括：

接收用于经训练的神经网络的数据，包括特征图和权重；

重排序经训练的神经网络的特征图和/或权重，以生成经训练的神经网络的重排序的版本；以及

在执行重排序之后，压缩经训练的神经网络的重排序的版本的权重。