[发明专利]一种基于存内计算的稀疏矩阵稠密乘法加速器

说明书

本发明实施例提供一种基于存内计算的稀疏矩阵稠密乘法加速器，该加速器包括：控制器，用于根据当前的计算任务，确定其中稀疏矩阵的所有非零数值、稠密向量的所有非零数值、稀疏矩阵和稠密向量的每个非零数值对应的行索引值和列索引值，且非零数值为浮点数值；CAM阵列，用于存储稀疏矩阵的每个非零数值对应的行索引值和列索引值，根据稠密向量的每个非零数值的行索引值匹配需与之进行计算的稀疏矩阵的每个非零数值的列索引值和行索引值，得到匹配结果；MAC阵列，用于根据CAM阵列的匹配结果关联存储稀疏矩阵的每个非零数值和稠密向量的每个非零数值，并执行关联存储的稀疏矩阵的每个非零数值与稠密向量对应的非零数值间的浮点乘法计算，得到计算结果。

技术领域

本发明涉及存内计算领域，具体来说，涉及一种基于存内计算的稀疏矩阵稠密乘法加速器。

背景技术

稀疏矩阵稠密向量乘法(sparse matrix-dense vector multiplication,SpMV)是一个基本的线性代数内核，也是一个重要的计算原语。它在多种应用中被使用，例如科学计算和图形处理。由于较差的数据局部性和不规则的内存访问，传统SpMV加速器的性能通常受到内存的限制。存内计算(In-memory computing,IMC)被视为缓解内存瓶颈的一种很有前途的技术。然而现存的基于存内计算的SpMV加速器存在一些缺陷，使得他们难以很好地支持对SpMV的加速。

现有的基于存内计算技术的稀疏矩阵稠密向量乘法加速器主要包括以下两种：

方案一：以参考文献[1]为代表的方案则是使用基于电阻式随机存取存储器(resistive random-access memory，ReRAM)的内存存储参与乘法计算的稀疏矩阵数据。随后使用内存可寻址存储器(Content Addressable Memory，CAM)阵列完成索引匹配，将匹配的稀疏矩阵数据从内存中读出然后使用靠近内存的浮点乘法器来完成SpMV计算[1]。

方案二：以参考文献[2]为代表的方案则是使用基于ReRAM的乘加(Multiply-AddComputation，MAC)阵列存储稀疏矩阵数据，根据稀疏矩阵数据的指数范围决定使用的MAC阵列的尺寸，将稠密向量输入到MAC阵列中与存储的稀疏矩阵数据进行SpMV运算。

对于第一种方案，其使用的ReRAM阵列不支持浮点表示和计算，乘法计算是使用浮点乘法器完成的，而不是使用具有高并行度的MAC阵列。这样需要执行额外的数据读取，不能充分利用存内计算技术的优势，难以取得较好的性能和能量利用效率，此外浮点乘法器的使用会带来额外的面积和功耗。对于第二种方案，其使用的基于ReRAM的MAC阵列完成SpMV运算，采用的定点乘法运算，且其阵列使用稠密格式存储数据，不支持使用稀疏格式存储，因此会存储许多零元数据，带来额外的内存面积开销。此外，其方案根据指数范围选择使用的MAC阵列的尺寸，在局部稀疏矩阵数据指数范围变化大时，无法选择合适尺寸的MAC阵列存储数据，这些无法存储和计算的数据需要交给GPU处理，会显著降低该加速器的加速效果。因此，现有技术中存在不支持存内浮点计算和不支持稀疏存储格式的缺陷，导致加速器存在计算效率低且内存面积开销大的问题。

参考文献：

[1]L.Yavits and R.Ginosar,“Sparse matrix multiplication on CAM basedaccelerator,”arXiv preprint arXiv:1705.09937,2017.

[2]B.Feinberg,U.K.R.Vengalam,N.Whitehair,S.Wang,and E.Ipek,“EnablingScientific Computing on Memristive Accelerators,”in 2018ACM/IEEE 45th AnnualInternational Symposium on Computer Architecture(ISCA),2018,pp.367-382.

发明内容