[发明专利]张量运算方法和装置

说明书

公开了一种张量运算方法、张量运算装置和计算机。该方法包括：接收张量运算指令，其包括用于描述运算类型的指令类型字段，用于描述源数据的结构的源数据结构描述字段，以及用于描述源数据在存储空间内的存储地址的源数据寻址字段；解析张量运算指令；根据源数据结构描述字段和源数据寻址字段，从存储空间取得要执行运算的源数据；以及，对所取得的源数据执行指令类型字段定义的运算。这样，可以通过在张量运算指令中描述运算类型以及张量的数据结构和存储地址而直接快速地获取张量并执行运算，从而提高运算效率。

技术领域

本申请总体上涉及计算机领域，且更具体地，涉及一种张量运算方法和装置以及实施该张量运算方法的计算设备。

背景技术

在人工智能领域，大量的相关计算，例如神经网络计算涉及到张量运算，例如矩阵运算，并且，现有的用于执行张量运算的装置主要是通用中央处理单元(CPU)和通用图形处理单元(GPU)。

具体地，通用CPU在进行张量运算时，通过寄存器堆和通用功能部件来执行通用指令。但是，由于单个通用CPU多用于标量计算，在进行多维张量的运算时运算性能较低。而如果使用多个通用CPU并行执行运算，其间的相互通信又可能成为性能瓶颈。

通用GPU在进行张量运算时，使用通用寄存器堆和通用流处理单元执行通用SIMD指令来进行张量运算。但是，GPU的片上缓存太小，在进行大规模张量运算时需要不断进行片外数据搬运，片外带宽成为主要性能瓶颈。

因此，期望改进的张量运算方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种张量运算方法、张量运算装置和计算机，其通过在张量运算指令中描述运算类型以及张量的数据结构和存储地址而直接快速地获取张量并执行运算，从而提高运算效率。

根据本申请的一个方面，提供了一种张量运算方法，包括：接收张量运算指令，所述张量运算指令包括用于描述运算类型的指令类型字段，用于描述源数据的结构的源数据结构描述字段，以及用于描述源数据在存储空间内的存储地址的源数据寻址字段；解析所述张量运算指令；根据所述源数据结构描述字段和所述源数据寻址字段，从存储空间取得要执行运算的源数据；以及对所取得的源数据执行所述指令类型字段定义的运算。

在一些实施例中，所述张量运算指令还包括用于描述目标数据的结构的目标数据结构描述字段，以及用于描述目标数据在存储空间内的存储地址的目标数据寻址字段，且其中，所述方法还包括将所述源数据的运算结果作为目标数据，按照所述目标数据结构描述字段定义的数据结构存储到所述目标数据寻址字段定义的存储地址中。

在一些实施例中，所述运算类型包括：数据搬移，所述数据搬运包括数据加载、数据存储和数据移动；以及数据运算，所述数据运算包括加法、乘法、重排序、缩放、卷积和池化。

在一些实施例中，所述张量运算指令包括一个或多个源数据结构描述字段、与所述一个或多个源数据结构描述字段对应的一个或多个源数据寻址字段、一个或多个目标数据结构描述字段、以及与所述一个或多个目标数据结构描述字段对应的一个或多个目标数据寻址字段。

在一些实施例中，所述源数据寻址字段和所述目标数据寻址字段中的每个包括表示存储地址的立即数或指示存储有存储地址的寄存器的寄存器号。

在一些实施例中，所述源数据结构描述字段包括源数据维度、源数据在每个维度上的尺寸、以及源数据类型长度，其中，所述目标数据结构描述字段包括目标数据维度、目标数据在每个维度上的尺寸、以及目标数据类型长度，且其中，所述存储地址包括起始地址、维度存储顺序、以及每个维度的存储间隔。

在一些实施例中，在解析所述张量运算指令之后并且在取得要执行运算的源数据之前，所述张量运算方法还包括：将解析完成的所述张量运算指令存储在缓存队列中。