[发明专利]基于芯片的融合算子处理方法、装置及相关产品

说明书

本申请提供一种的基于芯片的融合算子处理方法、装置及相关产品，具体应用于数据处理技术领域。方案包括：从芯片的存储装置上按照顺序依次将矩阵单元加载到芯片上的计算装置上，矩阵单元是按照预设的矩阵单元维度对目标矩阵进行矩阵拆分获得的；采用计算装置迭代计算每一个矩阵单元的归一化分母并求和，并确定每一个矩阵单元的TopK值并迭代处理，直至得到目标矩阵中全部矩阵单元的归一化分母之和以及目标矩阵对应的TopK值；采用计算装置根据目标矩阵对应的TopK值，计算每个TopK值的归一化分子；采用计算装置根据目标矩阵对应的归一化分母之和及每个TopK值的归一化分子，得到目标矩阵的融合算子的处理结果。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种基于芯片的融合算子处理方法、装置及相关产品。

背景技术

随着人工智能及数字电子技术的不断发展，各种人工智能芯片的快速发展对于数据处理的要求越来越高。

目前在人工智能领域的自然语言人机交互技术中，快速编解码(英文为：fast-transformer)网络模型由于具有强大的语义表达能力，所以被广泛使用。在fast-transformer网络模型进行分类时，一般先采用全连接层将特征表示矩阵映射到样本标记空间，然后采用softmax分类器进行分类，最终取出最优的TopK种分类结果。

而目前在采用芯片处理fast-transformer网络模型分类运算时，由于特征表示矩阵的维度很大，而在芯片上的计算装置的空间有限，所以需要从芯片的存储装置中进行大量的IO操作，并且目前采用芯片处理fast-transformer网络模型分类运算时的处理过程会产生大量的冗余计算，进而导致对数据的处理效率较低。

发明内容

本申请提供一种基于芯片的融合算子处理方法、装置及相关产品，用以解决现有技术中采用芯片处理fast-transformer网络模型分类运算时，需要从芯片的存储装置中进行大量的IO操作，并且目前采用芯片处理fast-transformer网络模型分类运算时的处理过程会产生大量的冗余计算，进而导致对数据的处理效率较低的技术问题。

第一方面，本申请提供一种基于芯片的融合算子处理方法，包括：

从芯片的存储装置上按照顺序依次将矩阵单元加载到芯片上的计算装置上；其中，所述矩阵单元是按照预设的矩阵单元维度对所述目标矩阵进行矩阵拆分获得的；所述顺序是将目标矩阵拆分成矩阵单元时获得的；

采用所述芯片的计算装置迭代计算每一个矩阵单元的归一化分母并求和，并确定每一个矩阵单元的TopK值并迭代处理，直至得到所述目标矩阵中全部矩阵单元的归一化分母之和以及所述目标矩阵对应的TopK值；

采用所述计算装置根据所述目标矩阵对应的TopK值，计算每个TopK值的归一化分子；

采用所述计算装置根据所述目标矩阵对应的归一化分母之和及所述每个TopK值的归一化分子，得到所述目标矩阵的融合算子的处理结果。

第二方面，本申请提供一种基于芯片的融合算子处理装置，包括：

加载单元，用于从芯片的存储装置上按照顺序依次将矩阵单元加载到芯片上的计算装置上；其中，所述矩阵单元是按照预设的矩阵单元维度对所述目标矩阵进行矩阵拆分获得的；所述顺序是将目标矩阵拆分成矩阵单元时获得的；

迭代处理单元，用于采用所述芯片的计算装置迭代计算每一个矩阵单元的归一化分母并求和，并确定每一个矩阵单元的TopK值并迭代处理，直至得到所述目标矩阵中全部矩阵单元的归一化分母之和以及所述目标矩阵对应的TopK值；

计算单元，用于采用所述计算装置根据所述目标矩阵对应的TopK值，计算每个TopK值的归一化分子；