[发明专利]基于芯片的融合算子处理方法、装置及相关产品

权利要求书

1.一种基于芯片的融合算子处理方法，其特征在于，包括：

从芯片的存储装置上按照顺序依次将矩阵单元加载到芯片上的计算装置上；其中，所述矩阵单元是按照预设的矩阵单元维度对所述目标矩阵进行矩阵拆分获得的；所述顺序是将目标矩阵拆分成矩阵单元时获得的；

采用所述芯片的计算装置迭代计算每一个矩阵单元的归一化分母并求和，并确定每一个矩阵单元的TopK值并迭代处理，直至得到所述目标矩阵中全部矩阵单元的归一化分母之和以及所述目标矩阵对应的TopK值；

采用所述计算装置根据所述目标矩阵对应的TopK值，计算每个TopK值的归一化分子；

采用所述计算装置根据所述目标矩阵对应的归一化分母之和及所述每个TopK值的归一化分子，得到所述目标矩阵的融合算子的处理结果。

2.根据权利要求1所述的方法，其特征在于，所述计算装置包括存储模块和运算模块；

采用计算装置迭代计算每一个矩阵单元的归一化分母并求和，直至得到所述目标矩阵中全部矩阵单元的归一化分母之和，包括：

将当前次迭代的矩阵单元从存储模块移动到运算模块，并采用所述运算模块计算当前次迭代的矩阵单元的归一化分母；

采用运算模块将上一次迭代计算完成的归一化分母之和与所述当前次迭代的矩阵单元的归一化分母进行求和，以获得当前次迭代后的归一化分母之和，直至得到所述目标矩阵中全部矩阵单元的归一化分母之和。

3.根据权利要求2所述的方法，其特征在于，所述将当前次迭代的矩阵单元从存储模块移动到运算模块，并采用所述运算模块计算当前次迭代的矩阵单元的归一化分母，包括：

将当前次迭代的矩阵单元从存储模块移动到运算模块，并采用所述运算模块确定当前次迭代的矩阵单元中的初始最大值元素；

将上一次迭代时的矩阵单元的目标最大值元素从存储模块移动到运算模块，并采用所述运算模块确定所述上一次迭代时的矩阵单元的目标最大值元素与所述初始最大值元素中的最大值，并将该最大值确定为当前次迭代的矩阵单元对应的目标最大值元素；

采用所述运算模块根据所述目标最大值元素计算当前次迭代的矩阵单元的归一化分母。

4.根据权利要求3所述的方法，其特征在于，所述采用运算模块将上一次迭代计算完成的归一化分母之和与所述当前次迭代的矩阵单元的归一化分母进行求和，以获得当前次迭代后的归一化分母之和之前，还包括：

采用运算模块判断上一次迭代时的矩阵单元的目标最大值元素是否小于当前次迭代的矩阵单元中的初始最大值元素；

若确定上一次迭代时的矩阵单元的目标最大值元素小于当前次迭代的矩阵单元中的初始最大值元素，则更新上一次迭代计算完成的归一化分母之和；

所述采用运算模块将上一次迭代计算完成的归一化分母之和与所述当前次迭代的矩阵单元的归一化分母进行求和，以获得当前次迭代后的归一化分母之和，包括：

采用运算模块将更新后的上一次迭代计算完成的归一化分母之和与所述当前次迭代的矩阵单元的归一化分母进行求和，以获得当前次迭代后的归一化分母之和。

5.根据权利要求1-4任一项所述的方法，其特征在于，采用计算装置确定每一个矩阵单元的TopK值并迭代处理，直至得到所述目标矩阵对应的TopK值，包括：

将当前次迭代的矩阵单元从存储模块移动到运算模块，并采用所述运算模块确定当前次迭代的矩阵单元中的TopK值；

将上一次迭代计算完成时确定出的TopK值从存储模块移动到运算模块，并采用所述运算模块从当前次迭代的矩阵单元的TopK值和所述上一次迭代计算完成时确定出的TopK值中筛选出当前次迭代计算完成时的TopK值，直至得到所述目标矩阵对应的TopK值。

6.根据权利要求1-4任一项所述的方法，其特征在于，所述采用所述计算装置根据所述目标矩阵对应的TopK值，计算每个TopK值的归一化分子，包括：

采用运算模块从所述存储模块获取所述目标矩阵对应的TopK值，并确定所述目标矩阵对应的TopK值中的最大值；

采用所述运算模块根据每个TopK值及所述目标矩阵对应的TopK值中的最大值计算每个TopK值的归一化分子。