[发明专利]一种数据处理方法及相关装置

说明书

本申请公开了一种数据处理方法，应用于人工智能领域。该方法包括：获取稀疏矩阵的分块信息，该分块信息用于指示稀疏矩阵中所划分的多个矩阵块；根据分块信息，从第一矩阵和第二矩阵获取多个矩阵块中每个矩阵块对应的矩阵数据；根据矩阵数据，执行矩阵乘运算，得到多个矩阵块，多个矩阵块包括稀疏矩阵中所有的非零元素，且多个矩阵块中每个矩阵块包括多个元素；将多个矩阵块进行拼接，得到目标矩阵，目标矩阵用于执行稀疏注意力网络中与稀疏矩阵相关的运算。基于本方案，能够有效地避免矩阵数据的重复搬运，并降低数据搬运指令的数量，提高数据处理的效率。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种数据处理方法及相关装置。

背景技术

人工智能(artificial intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

近年来，自注意力网络已经在许多自然语言处理(Natural LanguageProcessing,NLP)任务中得到了很好的应用，例如机器翻译，情感分析和问题解答等。随着自注意力网络的广泛应用，源于自然语言处理领域的自注意力网络在图像分类、目标检测、和图像处理等任务上也取得了很高的性能。

由于自注意力网络中存在部分冗余三维计算信息，因此能够减少计算量的稀疏注意力网络应运而生。在稀疏注意力网络中，核心的计算过程是基于两个稠密矩阵计算得到稀疏矩阵，该稀疏矩阵用于表征稀疏注意力特征。目前，计算稀疏矩阵的方式是基于稀疏矩阵中非零元素所在的位置，获取计算非零元素所需的矩阵数据，并逐个计算得到稀疏矩阵中的非零元素。

然而，这种稀疏矩阵的计算方式需要频繁地搬运计算所需的矩阵数据，出现矩阵数据的重复搬运，使得数据搬运指令的数量剧增，降低了矩阵运算过程中的计算访存比，导致数据处理的效率较低。

发明内容

本申请提供了一种数据处理方法，能够有效地避免矩阵数据的重复搬运，并降低数据搬运指令的数量，提高数据处理的效率。

本申请第一方面提供一种数据处理方法，应用于人工智能领域的稀疏注意力网络。该方法包括：获取稀疏矩阵的分块信息，该稀疏矩阵为基于稀疏注意力网络执行运算的期间所得到的中间矩阵，该稀疏矩阵用于执行稀疏注意力网络中后续的运算。在稀疏注意力网络中，该稀疏矩阵中非零元素的分布是具有一定规则的。因此，通过将稀疏矩阵进行划分，能够得到包括了稀疏矩阵中所有非零元素的多个矩阵块，该稀疏矩阵的分块信息则用于指示稀疏矩阵中所划分的多个矩阵块。

根据稀疏矩阵的分块信息，从第一矩阵和第二矩阵获取多个矩阵块中每个矩阵块对应的矩阵数据，其中第一矩阵和第二矩阵为用于计算稀疏矩阵的矩阵。例如，在基于图形处理器(Graphics Processing Unit，GPU)执行运算的情况下，第一矩阵和第二矩阵存储于GPU的显存中，GPU可以是通过执行数据搬运指令从显存中将矩阵块所对应的矩阵数据搬运到GPU的运算单元中，以计算矩阵块中的元素的具体值。

根据所述矩阵数据，执行矩阵乘运算，得到所述多个矩阵块，所述多个矩阵块包括所述稀疏矩阵中所有的非零元素，且所述多个矩阵块中每个矩阵块包括多个元素。

将所述多个矩阵块进行拼接，得到目标矩阵，该目标矩阵用于执行所述稀疏注意力网络中与所述稀疏矩阵相关的运算。也就是说，由多个矩阵块拼接得到的目标矩阵用于代替稀疏矩阵，来实现稀疏注意力网络中与稀疏矩阵相关的其他运算。