[发明专利]转置的稀疏矩阵乘以稠密矩阵用于神经网络训练

权利要求书

1.一种计算机实现的方法，包括：

使得至少部分地基于稀疏矩阵索引图对稀疏矩阵和稠密矩阵的元素执行一个或更多个乘法运算，所述稀疏矩阵索引图标识要对其执行所述一个或更多个乘法运算的元素；以及

使得根据所述稀疏矩阵索引图，将所述一个或更多个乘法运算的结果累加到一个或更多个相应的存储位置中。

2.如权利要求1所述的计算机实现的方法，其中所述稀疏矩阵索引图包括用于所述稀疏矩阵的列或行的转置索引，以及所述存储位置是至少部分地使用所述转置索引而确定的。

3.如权利要求1所述的计算机实现的方法，其中所述结果包括乘积矩阵的元素，所述乘积矩阵等于所述稀疏矩阵的转置版本与所述稠密矩阵的乘积。

4.如权利要求1所述的计算机实现的方法，进一步包括：

由神经网络将参数矩阵应用到所述稀疏矩阵以产生输出；

根据损失函数处理所述输出以产生所述稠密矩阵，其中所述稠密矩阵减少所述输出和真值输出之间的差异；以及

读取所述稀疏矩阵的非零值以计算所述结果。

5.如权利要求4所述的计算机实现的方法，进一步包括通过组合所述参数矩阵和所述学习率与所述乘积矩阵的乘积来更新所述参数矩阵。

6.如权利要求5所述的计算机实现的方法，其中从所述参数矩阵中减去所述乘积。

7.如权利要求4所述的计算机实现的方法，其中所述损失函数包括距离函数的总和。

8.如权利要求4所述的计算机实现的方法，其中所述输出和所述真值输出之间的差异由校正函数计算。

9.如权利要求4所述的计算机实现的方法，其中所述神经网络包括输入层和输出层，以及所述输入层接收所述参数矩阵和所述稀疏矩阵，所述输出层生成所述输出。

10.如权利要求1所述的计算机实现的方法，其中所述稀疏矩阵索引图包括第二向量，所述第二向量指示包含至少一个非零值的所述稀疏矩阵中的列的索引。

11.如权利要求10所述的计算机实现的方法，进一步包括基于所述第二向量访问所述存储位置，以使用所述乘积矩阵更新神经网络的参数。

12.如权利要求1所述的计算机实现的方法，其中避免矩阵转置操作以累积所述结果。

13.如权利要求1所述的计算机实现的方法，其中所述结果包括乘积矩阵的元素，以及所述稀疏矩阵索引图包括指示所述乘积矩阵中的元素的第一向量。

14.如权利要求1所述的计算机实现的方法，其中所述结果包括乘积矩阵的元素，以及所述乘积矩阵的压缩格式只包括非零值。

15.如权利要求1所述的计算机实现的方法，其中所述结果中的每个乘积项从所述稀疏矩阵索引图中的数据向量的不同条目计算得到，并且每个存储位置由所述稀疏矩阵索引图内的列中的相应条目标识为非零列向量。

16.一种系统，包括：

并行处理单元，配置成：

至少部分地基于稀疏矩阵索引图对稀疏矩阵和稠密矩阵的元素执行乘法运算，所述稀疏矩阵索引图标识要对其执行一个或更多个乘法运算的元素；以及

根据所述稀疏矩阵索引图，将一个或更多个乘法运算的结果累加到一个或更多个相应的存储位置中。

17.如权利要求16所述的系统，其中所述结果包括乘积矩阵的元素，以及所述稀疏矩阵索引图包括指示所述存储位置的第一向量。