[发明专利]一种稀疏神经网络的压缩编码方法

摘要

本发明涉及一种稀疏神经网络的压缩编码方法。本发明首先进行量化和预处理，根据稀疏程度选择压缩编码方法：稀疏度S≥ε2时，采用零游程和k阶指数哥伦布组合编码；稀疏度ε1＜S＜ε2时，采用k阶GX编码；稀疏度S≤ε1时，采用k阶指数哥伦布编码；ε1和ε2为设定阈值。k阶GX编码方法是：若预处理完成数据为0，直接编码为二进制形式的1，若大于0，以二进制形式表示，不足k位，高位补0，去掉该二进制比特序列的低k位后得到的序列转换为十进制数y；若高位补0后为k位，则y为0；计算y+1二进制形式的最低有效位数LSB，先输出LSB个0，然后输出y+1比特序列，将去掉的k位二进制序列放在输出的最低位之后，得到编码后码字。本发明利用了稀疏神经网络权重矩阵分布特性，具有更高的压缩率和更低的实现复杂度。

主权项

1.一种稀疏神经网络的压缩编码方法，其特征在于：首先对神经网络中的权重和激活数据进行量化和预处理，根据预处理后的权重和激活数据的稀疏程度选择压缩编码方法：稀疏度S≥ε₂时，采用零游程和k阶指数哥伦布组合编码；稀疏度ε₁＜S＜ε₂时，采用k阶GX编码；稀疏度S≤ε₁时，采用k阶指数哥伦布编码；ε₁和ε₂为设定阈值，0≤ε₁＜ε₂≤1；所述的量化是对目标神经网络中的权重或激活数据进行聚类量化；所述的预处理具体方法是：步骤(1).零值对应：将实际浮点零值和量化零值相对应；步骤(2).紧凑数据：如果存在闲置区间free_range≥4，将已量化数据中闲置区间以外的数据，进行整体偏移，偏移方法如下：pre_out1为整体偏移前的数据，pre_out2为整体偏移后的数据；thr_r～thr_l为量化数据闲置区间的范围大小，thr_l和thr_r为闲置区间的左边界和右边界，满足thr_l＜0＜thr_r；所述的闲置区间为量化后数据未占用的量化级的范围，该范围为包括量化零值的连续范围；如果free_range＜4，直接进入步骤(3)；步骤(3).数据溢出：如果存在溢出量化比特n的可表示范围[‑2^n‑1，2^n‑1‑1]的数据，将溢出数据映射到可表示范围内空缺的数值上；映射采用对称翻转或循环翻转；对称翻转表示为：pre_out3为映射后数据，bias为量化偏置；循环翻转表示为：步骤(4).将pre_out3进行映射，使之满足压缩算法对输入数据的要求，映射方法如下：pre_out4为预处理完成数据，获得特定分布的数据。