[发明专利]一种数据处理方法及相关装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取稀疏矩阵的分块信息，所述稀疏矩阵为基于稀疏注意力网络执行运算的期间所得到的中间矩阵，所述分块信息用于指示所述稀疏矩阵中所划分的多个矩阵块；

根据所述分块信息，从第一矩阵和第二矩阵获取所述多个矩阵块中每个矩阵块对应的矩阵数据，所述第一矩阵和所述第二矩阵为用于计算所述稀疏矩阵的矩阵；

根据所述矩阵数据，执行矩阵乘运算，得到所述多个矩阵块，所述多个矩阵块包括所述稀疏矩阵中所有的非零元素，且所述多个矩阵块中每个矩阵块包括多个元素；

将所述多个矩阵块进行拼接，得到目标矩阵，所述目标矩阵用于执行所述稀疏注意力网络中与所述稀疏矩阵相关的运算。

2.根据权利要求1所述的方法，其特征在于，所述将所述多个矩阵块进行拼接，得到目标矩阵，包括：

当所述多个矩阵块中包括目标元素时，将所述多个矩阵块中的目标元素的值调整为零，得到多个调整后的矩阵块，所述目标元素为所述稀疏矩阵中值为零的元素；

将所述多个调整后的矩阵块进行拼接，得到所述目标矩阵。

3.根据权利要求1或2所述的方法，其特征在于，所述多个矩阵块中每个矩阵块的行数或列数相同，所述多个矩阵块用于表示局部注意力特征；

所述将所述多个矩阵块进行拼接，得到目标矩阵，包括：

当多个矩阵块中每个矩阵块的行数相同时，在列的维度上对所述多个矩阵块进行拼接，得到所述目标矩阵，所述目标矩阵的行数与所述多个矩阵块的行数相同；

当多个矩阵块中每个矩阵块的列数相同时，在行的维度上对所述多个矩阵块进行拼接，得到所述目标矩阵，所述目标矩阵的列数与所述多个矩阵块的列数相同。

4.根据权利要求1或2所述的方法，其特征在于，所述分块信息包括第一分块信息和第二分块信息，所述第一分块信息用于指示所述稀疏矩阵中所划分的多个第一矩阵块，所述多个第一矩阵块的列数相同且所述多个第一矩阵块的总行数等于所述稀疏矩阵的行数，所述第二分块信息用于指示所述稀疏矩阵中所划分的多个第二矩阵块，所述多个第二矩阵块的行数与所述稀疏矩阵的行数相同且所述多个第二矩阵块的列数小于所述稀疏矩阵的列数；

所述将所述多个矩阵块进行拼接，得到目标矩阵，包括：

在行的维度上对所述多个第一矩阵块进行拼接，得到第一目标矩阵；

在列的维度上对所述多个第二矩阵块进行拼接，得到第二目标矩阵；

在列的维度上对所述第一目标矩阵和所述第二目标矩阵进行拼接，得到所述目标矩阵。

5.根据权利要求4所述的方法，其特征在于，所述多个第一矩阵块用于表示局部注意力特征，所述多个第二矩阵块用于表示全局注意力特征。

6.根据权利要求4或5所述的方法，其特征在于，所述在列的维度上对所述第一目标矩阵和所述第二目标矩阵进行拼接，得到所述目标矩阵，包括：

若所述第一目标矩阵中的第一元素和所述第二目标矩阵中的第二元素在所述稀疏矩阵中的位置相同，则将所述第二目标矩阵中的第二元素的值调整为零，得到调整后的第二目标矩阵；

在列的维度上对所述第一目标矩阵和所述调整后的第二目标矩阵进行拼接，得到所述目标矩阵。

7.根据权利要求4-6任意一项所述的方法，其特征在于，所述方法还包括：

对所述目标矩阵进行归一化操作，得到归一化的目标矩阵；

基于所述归一化后的目标矩阵和第三矩阵，得到输出矩阵，所述输出矩阵为所述稀疏注意力网络中注意力模块的输出，所述第一矩阵、所述第二矩阵和所述第三矩阵是基于不同的权重对同一个矩阵进行运算得到的。