[发明专利]一种稀疏矩阵向量乘访存优化的计算方法

说明书

本发明公开了一种稀疏矩阵向量乘访存优化的计算方法，适用于DCU和GPU架构，该方法包括：将原始稀疏矩阵按照固定行数划分为若干块，每块由一个线程块单独完成计算，并为每个线程块在LDS开辟固定大小的空间；计算每一线程块需要计算的轮次数；在一个轮次的计算中，每个线程块中所有线程完成若干次非零元素计算并将结果写入LDS；每个线程块中一个或多个线程对LDS的乘法结果进行求和并将结果保存至寄存器；当完成所有轮次计算后，将寄存器中的结果进行进一步计算，并将结果写回显存。本发明基于原始CSR格式，无需预处理，且能充分利用访存合并特性，实现了较高的访存带宽利用。

技术领域

本发明涉及高性能计算与算法技术领域，特别涉及一种适用于DCU和通用GPU架构的稀疏矩阵向量乘访存优化的计算方法。

背景技术

稀疏矩阵向量乘(Sparse Matrix-Vector Multiplication，SpMV)在科学计算、图形分析、信号处理等领域有着广泛的应用。其中参与计算的矩阵是稀疏的，即矩阵中大部分元素都为零。由于高效的压缩率，稀疏行压缩格式(Compressed Sparse Row Format，CSR)成为稀疏矩阵最常用的存储形式。在稀疏矩阵向量乘法中，其性能瓶颈是访存，如何提高访存性能成为关键。

图形处理器(GPU，Graphics Processing Unit)可以提供强大的并行计算能力和巨大的数据吞吐量，在处理大规模数值计算问题方面表现优异，为高性能计算系统提供了坚实的计算平台。DCU(Deep Computing Unit，深度计算器)是GPU加速器的一种，其提供了高访存带宽。这使得在DCU加速器和GPU平台上实现高效的SpMV计算成为可能。

现有的一些SpMV算法(如CSR-Scalar、CSR-Vector等方法)往往都面临访存不连续的问题，无法充分利用GPU的访存合并特性，因此访存带宽利用不高，总体性能损失较大。另外一些能高效利用访存带宽的方案(如CSR-Stream算法、CSR-Adaptive算法、HOLA算法和CSR5)，往往需要进行预处理或者将CSR格式转换为其他格式，额外开销较大。

发明内容

本发明提供了一种稀疏矩阵向量乘访存优化的计算方法及装置，以解决现有技术所存在的访存带宽利用不高，总体性能损失大及额外开销大的技术问题。

为解决上述技术问题，本发明提供了如下技术方案：

一方面，本发明提供了一种稀疏矩阵向量乘访存优化的计算方法，适用于DCU和通用GPU架构，所述稀疏矩阵向量乘访存优化的计算方法包括：

将原始稀疏矩阵按照固定行数划分为若干块，每块分别由一个线程块单独完成计算，并为每个线程块在LDS(即共享内存)分别开辟固定大小的空间；

计算每个线程块负责计算的非零元素数量，根据计算结果，结合预设的每个线程块每轮至多计算的非零元素个数，计算出每一线程块需要计算的轮次数；

在一个轮次的计算中，每个线程块中所有线程完成若干次非零元素与相应向量中对应元素乘积的计算，并将乘法结果写入当前线程块所对应的LDS空间；

将每个线程块中的所有线程以单个或多个线程为一组的形式进行划分，每一组线程分别对LDS的乘法结果进行求和，并将求和结果保存在寄存器中；

当完成所有轮次的计算后，基于存储于寄存器中的求和结果，得到最终的计算结果，并将最终的计算结果写回显存。

进一步地，所述原始稀疏矩阵使用CSR格式存储。

进一步地，在将原始稀疏矩阵按照固定行数划分为若干块时，除最后一块之外，其余每块的行数相等且行数均为N，最后一块的行数小于或等于N。

进一步地，每个线程块每轮至多计算的非零元素个数为R×M个；其中，M为每个线程块内含有线程的个数，R为正整数；