[发明专利]一种稀疏神经网络的压缩编码方法

权利要求书

1.一种稀疏神经网络的压缩编码方法，其特征在于：首先对神经网络中的权重和激活数据进行量化和预处理，根据预处理后的权重和激活数据的稀疏程度选择压缩编码方法：稀疏度S≥ε₂时，采用零游程和k阶指数哥伦布组合编码；稀疏度ε₁＜S＜ε₂时，采用k阶GX编码；稀疏度S≤ε₁时，采用k阶指数哥伦布编码；ε₁和ε₂为设定阈值，0≤ε₁＜ε₂≤1；

所述的量化是对目标神经网络中的权重或激活数据进行聚类量化；

所述的预处理具体方法是：

步骤(1).零值对应：将实际浮点零值和量化零值相对应；

步骤(2).紧凑数据：如果存在闲置区间free_range≥4，将已量化数据中闲置区间以外的数据，进行整体偏移，偏移方法如下：

pre_out1为整体偏移前的数据，pre_out2为整体偏移后的数据；thr_r～thr_l为量化数据闲置区间的范围大小，thr_l和thr_r为闲置区间的左边界和右边界，满足thr_l＜0＜thr_r；所述的闲置区间为量化后数据未占用的量化级的范围，该范围为包括量化零值的连续范围；

如果free_range＜4，直接进入步骤(3)；

步骤(3).数据溢出：如果存在溢出量化比特n的可表示范围[-2^n-1，2^n-1-1]的数据，将溢出数据映射到可表示范围内空缺的数值上；映射采用对称翻转或循环翻转；

对称翻转表示为：

pre_out3为映射后数据，bias为量化偏置；

循环翻转表示为：

步骤(4).将pre_out3进行映射，使之满足压缩算法对输入数据的要求，映射方法如下：

pre_out4为预处理完成数据，获得特定分布的数据。

2.如权利要求1所述的一种稀疏神经网络的压缩编码方法，其特征在于：所述的k阶GX编码的编码方法如下：

a.预处理完成数据为非负数x，若x为0，直接编码为二进制形式的1；若x大于0，进入步骤b；

b.将x-1以二进制形式表示，若不足k位，高位补0；去掉该二进制比特序列的低k位后得到的序列转换为十进制数y；若高位补0后为k位，则y为0；

c.计算数字y+1二进制形式的最低有效位数LSB，以二进制形式，先输出LSB个0，然后输出y+1的二进制比特序列；

d.将步骤b中去掉的k位二进制序列放在步骤c输出的最低位之后，得到编码后的码字。

3.如权利要求1所述的一种稀疏神经网络的压缩编码方法，其特征在于：所述的量化方式包含对权重矩阵按指定量化比特进行均匀量化或者非均匀量化。