[发明专利]一种具有极高压缩比的剪枝深度神经网络的分层稀疏编码方法

权利要求书

1.一种具有极高压缩比的剪枝深度神经网络的分层稀疏编码方法，其特征在于，包括如下步骤：

步骤S1：初始化并训练一个过度参数化的DNN模型；

步骤S2：对模型进行剪枝，使其尽可能稀疏；

步骤S3：采用分层稀疏编码LSC方法来进一步压缩和编码这些稀疏权重，在块层中，对于每个稀疏权值矩阵，应用块位掩码机制，将稀疏矩阵划分为多个小块，然后将所有非零值块拉伸拼接为一个向量，扁平化矢量被送入后续编码层；

步骤S4：在编码层，通过带标记相对索引方法SRI，用极有限元数据编码该扁平化矢量，执行压缩编码；

步骤S5：推断阶段，利用中间解码结果来尽早启动矩阵乘法过程，实现高性能计算。

2.根据权利要求1所述的一种具有极高压缩比的剪枝深度神经网络的分层稀疏编码方法，其特征在于，所述步骤S1和步骤S2的学习压缩DNN模型的过程进一步为：

步骤S11、初始化并训练一个超参数化的DNN模型；

步骤S12、通过剪枝来消除对预测贡献较小的权重，并重新训练该模型；

步骤S13、重复剪枝和训练过程数次，最终获得的模型保持与原始模型相似但有效权重却更少的性能。

3.根据权利要求1所述的一种具有极高压缩比的剪枝深度神经网络的分层稀疏编码方法，其特征在于，所述步骤S3的分层稀疏编码LSC方法进一步为：

步骤S31、采用块位掩码机制，将块层中每个稀疏权值矩阵划分为多个小块，对于每个块，如果有任何非零权重，则使用1位信号将其标记为true，否则将其标记为false，由此获得由许多1位标记组成的掩码，可以标记所有块；

步骤S32、将所有这些非零块展平为一个矢量，并将展平的矢量输入编码层。

4.根据权利要求1所述的一种具有极高压缩比的剪枝深度神经网络的分层稀疏编码方法，其特征在于，所述步骤S4的LSC方法，采用SRI方法将其编码层对扁平化的非零块执行高强度压缩，压缩和编码所有非零权重。

5.根据权利要求1所述的一种具有极高压缩比的剪枝深度神经网络的分层稀疏编码方法，其特征在于，所述步骤S5的推断过程进一步为：

步骤51、计算树构造；

步骤S52、修剪计算树；

步骤S53、SRI解码和子矩阵乘法；

步骤S54、中间结果集成。

6.根据权利要求5所述的一种具有极高压缩比的剪枝深度神经网络的分层稀疏编码方法，其特征在于，所述计算树构造进一步为：计算树用于确定矩阵乘法的计算流程，首先将两个矩阵W×X的乘法分解为多个子矩阵的计算；根据块矩阵乘法的原理，将W拆分为多个子矩阵，然后将W×X转换为几个子矩阵之间的计算，每行的计算过程可以进一步转换为计算树。

7.根据权利要求5的推断过程，其特征在于，所述修剪计算树进一步为：修剪后的DNN的高度稀疏性导致大量的零值块，可以跳过这些零块的乘法，根据块位掩码机制对零值块的标记修剪计算树。

8.根据权利要求5所述的一种具有极高压缩比的剪枝深度神经网络的分层稀疏编码方法，其特征在于，所述SRI解码和子矩阵乘法进一步为：SRI解码过程将SRI码恢复为非零块，子矩阵乘法过程采用这些非零块来执行子矩阵乘法；这两个过程是相对独立的，一旦子矩阵乘法完成，解码的非零块将被破坏，节省存储带宽。

9.根据权利要求5所述的一种具有极高压缩比的剪枝深度神经网络的分层稀疏编码方法，其特征在于，所述中间结果集成进一步为：对子矩阵乘法的所有中间计算结果进行累积以获得最终结果且可以并行实现。