[发明专利]有效存储稀疏神经网络和稀疏卷积神经网络的方法及系统

权利要求书

1.一种有效地存储稀疏神经网络的方法，所述方法包括：

获得多个权重的稀疏神经网络，每个权重表示多个神经元层的不同层中的一对多个人工神经元之间的唯一连接，其中，所述稀疏神经网络包括至少一个隐藏层，其中，相邻神经元层中的少数神经元对通过权重在所述稀疏神经网络中连接；以及

将所述稀疏神经网络的所述多个权重中的每个权重与唯一索引相关联地存储，所述唯一索引唯一地标识具有由所述权重表示的连接的一对人工神经元，其中，每个索引包括一个或多个索引值，所述一个或多个索引值表示通过所述权重连接的所述一对人工神经元中的“从”神经元和通过所述权重连接的所述一对人工神经元中的“至”神经元，其中，仅存储表示神经元对之间的连接的非零权重并且不存储表示神经元对之间的无连接的零权重。

2.根据权利要求1所述的方法，其中，存储所述稀疏神经网络的所述多个权重中的每个权重包括存储标识每个权重的三元组值，其中，所存储的三元组值包括：

所述索引的第一值，标识所述一对人工神经元的第一神经元，

所述索引的第二值，标识所述一对人工神经元的第二神经元，以及

所述权重的第三值。

3.根据权利要求1所述的方法：

其中，获得多个权重的稀疏神经网络包括根据所述稀疏神经网络中与非零权重相关联的所述索引的非顺序模式，从主存储器中获取存储在所述主存储器中非顺序位置中的权重；以及

其中，存储所述稀疏神经网络的所述多个权重中的每个权重包括将从所述主存储器中非顺序位置获取的所述权重存储到高速缓存存储器中的顺序位置。

4.根据权利要求1所述的方法，包括使用选自由以下项构成的组中的一种或多种数据表示来存储所述稀疏神经网络的权重值：压缩稀疏行（CSR）表示、压缩稀疏列（CSC）表示、稀疏张量表示、映射表示、列表表示和稀疏矢量表示。

5.根据权利要求1所述的方法，包括：

接收包括多个权重的密集神经网络，其中，相邻神经元层中的多数神经元对通过权重在所述密集神经网络中连接；以及

通过修剪所述密集神经网络的权重，将所述密集神经网络转换为所述稀疏神经网络。

6.根据权利要求5所述的方法，其中，所述修剪在所述神经网络的训练阶段期间执行。

7.根据权利要求6所述的方法，包括使用选自由L₁正则化、L_p正则化、阈值化、随机归零和基于偏置的修剪构成的组中的一种或多种修剪技术来修剪，其中，所述L₁正则化具有功率为1的归一化因子，所述L_p正则化具有功率为p的归一化因子。

8.根据权利要求5所述的方法，其中，所述修剪在所述神经网络的训练阶段之后执行。

9.根据权利要求1所述的方法，其中，存储所述稀疏神经网络的所述多个权重中的每个权重包括仅缓存由相关联的唯一索引标识的所述非零权重，从而连续地存储具有非连续索引的权重，跳过与所述零权重相关联的索引。

10.根据权利要求1所述的方法，其中，获得多个权重的稀疏神经网络包括在所述稀疏神经网络中生成一个或多个新权重。

11.根据权利要求1所述的方法，其中，所述多个权重中的一个或多个权重表示非相邻层中的成对人工神经元之间的跳过连接。

12.根据权利要求1所述的方法，其中，所述神经网络是循环神经网络，并且所述多个权重中的一个或多个权重表示相同层内的成对人工神经元之间的循环连接。

13.根据权利要求1所述的方法，包括使用进化算法或强化学习来训练所述稀疏神经网络。