[发明专利]一种稀疏矩阵与向量的压缩方法

说明书

本发明提供一种应用于稀疏矩阵与向量的压缩方法:增强坐标列表(ECOO，enhanced coordinate list)。包括在压缩过程中对矩阵或向量按行(列)划分成多个数据段。在分段后将每个非零数据用三元组表示，包括数值(value)、段内偏移(offset)以及段末标记(EOG，end of group)。本压缩方法其能够利用有限的位宽表示任意大的稀疏矩阵与向量、同时能以较低的开销完成解码操作。因此，相比于朴素的坐标列表(COO，coordinate list)压缩方法、本方法尤其适用于位宽有限的硬件结构之中存储需按行或列访问稀疏矩阵或向量。

技术领域

本发明涉及神经网络处理器数据处理技术领域，具体涉及一种稀疏矩阵与向量的压缩方法。

背景技术

近年来，深度学习在诸如图像识别、语音处理等领域逐渐取得愈发显著的成绩。然而，随着网络深度的不断增加，深度神经网络训练与推理过程中所需的算力以及访存带宽等需求逐渐难以被传统计算平台所满足。

神经网络的稀疏性指其权值与特征中所包含零的比例。在稀疏度较高的神经网络的训练与推理过程之中，绝大部分的操作会包含一个或多个等于零的操作数、可被去除而不对计算结果产生影响。稀疏矩阵与向量为科学探索与工程实践中经常处理的重要对象。稀疏矩阵与向量中包含大量零元素，这部分零元素可被去除以降低存储过程中所需的空间开销。然而在这一过程中，对稀疏矩阵与向量不恰当的压缩方式会降低其存储与使用的效率。由此，多种压缩方式被提出以对稀疏矩阵与向量的存储与计算过程达成优化。例如，COO(COOrdinatelist)格式中，稀疏矩阵中每一非零元素均使用三元组(行号、列号、数值)进行表示；CSR(Compressed Row Storage)格式中，每一非零数据仅保留其与上一个非零数据的相对偏移。然而，尤其在专用硬件上对稀疏矩阵与向量进行处理之时，这些已有的压缩格式均为计算过程带来了一定的约束。例如，COO格式难以利用有限的位宽对任意大的稀疏矩阵进行压缩；CSR格式则需对相对偏移进行累加以进行后续操作、从而带来了额外的计算开销。因此，提出对稀疏矩阵与向量的新的压缩格式、以在专有硬件上对稀疏矩阵与向量进行高效处理具有重要的现实意义。

发明内容

为了至少解决上述提出的技术问题，本发明提出了一种稀疏矩阵与向量的压缩方法。本方法可利用有限的位宽对任意大的矩阵或向量进行压缩，尤其适用于稀疏矩阵与向量的硬件处理。相较于CRS，由本方法压缩后的矩阵与向量可较为方便地送入计算单元中进行处理，从而降低解码过程带来的计算开销。

本发明完整的技术方案包括：

一种稀疏向量的压缩方法，包括如下步骤：

(1)按照给定的长度对向量中的元素进行分段；

(2)标注每一数据在段内的偏移值，具体为对段内元素x_i，其偏移值记为N-i，x_i为该段内的第i个元素，N为段内元素总数；

(3)判断段内的元素为非零元素或零元素；

(4)若段内无非零元素，则于该段中保留第一个或任意一个零元素以进行占位；若段中有非零元素，则移除段内所有的零元素；

(5)对段中的数据进行EOG标注；具体为对剩余元素中偏移值最大的元素标记为1，对其他元素标记为0。

所用的向量压缩方法也可以为如下步骤：

(1)按照给定的长度对向量中的元素进行分段；

(2)标注每一数据在段内的偏移值，具体为对段内元素x_i，其偏移值记为i-1，x_i为该段内的第i个元素；

(3)判断段内的元素为非零元素或零元素；

(4)若段内无非零元素，则于该段中保留第一个或任意一个零元素以进行占位；若段中有非零元素，则移除段内所有的零元素；