[发明专利]一种稀疏神经网络的压缩编码方法

说明书

本发明涉及一种稀疏神经网络的压缩编码方法。本发明首先进行量化和预处理，根据稀疏程度选择压缩编码方法：稀疏度S≥ε₂时，采用零游程和k阶指数哥伦布组合编码；稀疏度ε₁＜S＜ε₂时，采用k阶GX编码；稀疏度S≤ε₁时，采用k阶指数哥伦布编码；ε₁和ε₂为设定阈值。k阶GX编码方法是：若预处理完成数据为0，直接编码为二进制形式的1，若大于0，以二进制形式表示，不足k位，高位补0，去掉该二进制比特序列的低k位后得到的序列转换为十进制数y；若高位补0后为k位，则y为0；计算y+1二进制形式的最低有效位数LSB，先输出LSB个0，然后输出y+1比特序列，将去掉的k位二进制序列放在输出的最低位之后，得到编码后码字。本发明利用了稀疏神经网络权重矩阵分布特性，具有更高的压缩率和更低的实现复杂度。

技术领域

本发明属于计算机技术领域，具体是神经网络领域，涉及一种稀疏神经网络的压缩编码方法。

背景技术

随着人工智能时代的到来，图像识别、语音识别、自然语言处理等智能任务在生活中无处不在。而神经网络作为当前实现这类智能任务最有效的算法之一，已经获得学术界和工业界广泛关注和应用。然而大型的神经网络具有大量的层级和节点，导致其权重参数数量大，网络训练过程耗时，同时训练好的模型占用很大的存储空间。神经网络计算密集和存储密集的特点使得其难以被部署到资源有限的移动端和嵌入式系统上。因此神经网络压缩就成了解决这个问题的主流手段。

神经网络中各个神经元之间的连接关系由一系列权重矩阵表示。训练好的网络模型虽然预测准确度高，但其权重矩阵都是稠密的，即矩阵中几乎没有零值元素，从而导致大量的存储和计算资源被消耗。研究表明，大型的神经网络模型通常是过参数化的，也就是说，通常不需要那么多参数就可以表达出网络模型特征。故而，在确保模型准确度可接受条件下，许多神经网络稀疏化训练手段被提出，比如在训练过程中采用L1/L2正则化，或者运用剪枝技术等。剪枝是把预训练模型权重矩阵中不重要的元素置为零，会影响神经网络的准确度，一般通过重训练来调整剩余权重，从而减小准确度的损失。通过稀疏手段来增加模型参数中的零值元素比例，推断过程中与这些零值元素相关的计算就可以直接跳过，从而达到模型运算加速的目的。

神经网络的推断过程本来就需要进行大量的内存访问，去获取权值以及进行大量的点乘操作，对存储的需求非常巨大。相对于稠密型神经网络，稀疏神经网络的权重矩阵的零值比例虽然增加了，但其尺寸大小依旧没变，里面的零值元素依旧占用存储空间。稀疏化神经网络依旧需要进一步在存储需求上得到改善。而一个浮点数比一个8bit定点数多占用3倍的内存空间，因此将权重矩阵进行量化和压缩编码应运而生。现有技术大多数直接采用哈夫曼编码，该方法编码较复杂，同时需要在存储或传输编码后数据之前必须保存一份编码表，以供解码端重建信息时使用。

发明内容

本发明的目的就是根据稀疏神经网络的数据特性，提供一种稀疏神经网络的压缩编码方法，降低神经网络的存储需求的同时提高编码效率。

本发明方法首先对神经网络中的权重和激活数据进行量化和预处理，根据预处理后的权重和激活数据的稀疏程度选择压缩编码方法：稀疏度S≥ε₂时，采用零游程和k阶指数哥伦布组合编码；稀疏度ε₁＜S＜ε₂时，采用k阶GX编码；稀疏度S≤ε₁时，采用k阶指数哥伦布编码；ε₁和ε₂为设定阈值，0≤ε₁＜ε₂≤1。

所述的量化是对目标神经网络中的权重或激活数据进行聚类量化，量化方式包含对权重矩阵按指定量化比特进行均匀量化或者非均匀量化。

所述的预处理具体方法是：

步骤(1).零值对应：将实际浮点零值和量化零值相对应；