[发明专利]一种基于张量的高效Transformer的架构方法

权利要求书

1.一种基于张量的高效Transformer的架构方法，其特征在于，所述方法包括：

步骤10、将多头注意力层的权重矩阵映射到张量空间，然后再将其表示为k模的张量分解形式链；

步骤20、将输入数据(Q_att，K_att，V_att)映射到张量空间，然后与对应的的权重张量链进行运算，并把结果进行“Attention”运算，再与的权重张量链进行运算得到最终输出结果，构建出轻量级张量化多头注意力机制；

步骤30、将编码器层的多头注意力层和解码器层的第一层子层的多头注意力层中相似的线性运算整合到一起，即把对应的权重张量拼接起来，形成权重张量将解码器层的第二个子层中相似的线性运算整合到一起，形成权重张量构建出轻量级张量化多头注意力机制++；

步骤40、将Position-wise前馈神经网络中的权重矩阵和映射到张量空间且将其表示为m模的张量分解形式，并与输入数据进行运算，构建出轻量级张量化Position-wise前馈网络；

步骤50、将轻量级张量化多头注意力机制和轻量级张量化Position-Wise前馈网络组成Ltensorized_transformer，将轻量级张量化Position-Wise前馈网络和轻量级张量化多头注意力机制++组成LTensorized_transformer++，构建出轻量级Transformer架构。

2.根据权利要求1所述的基于张量的高效Transformer的架构方法，其特征在于，所述步骤10包括以下具体步骤：

将queries，keys和values分别打包成矩阵Q_att，K_att和V_att，并对矩阵Q_att，K_att和V_att进行了h次线性投影，其中涉及到的权重矩阵可以统一表示为和将d_model表示成多个正数因子的乘积，d_model＝{d₁×...×d_k}×{d_k+1×...×d_2k}×...×{d_(m-1)k+1×...×d_mk}；

将权重矩阵和W_O映射到张量空间就得到权重张量和

根据公式(1)将权重张量和表示为k模的张量分解形式，公式(1)的定义如下：

3.根据权利要求2所述的基于张量的高效Transformer的架构方法，其特征在于，所述步骤20包括以下具体步骤：

步骤21、通过把输入数据映射到张量空间并与对应的小型权重张量核进行运算，运算的过程如公式(2)所示，所述公式(2)的定义如下：

步骤22、将运算结果进行reshape操作，并将其拆分成h等分，用列表L存储拆分的结果，整个计算过程如下：

D′＝Reshape(D，[-1，d_model]) (3)

T＝Spht(D′)＝(D′₁，...，D′_h) (4)

步骤23、将列表L中的存储数据取出来，和中各有由h个矩阵组成，利用公式(5)来获取对应下标的输入矩阵(和)，并进行注意力计算，从而获得对应的注意力输出，所述公式(5)的定义如下：

R_i＝Get(R，i) (5)

步骤24、利用公式(6)计算每个注意力的输出结果(head_i)，并将每个注意力的结果拼接在一起，与小型的权重张量核(的k模张量分解形式的结果)利用公式(2)进行多步特征计算得到最终的多头注意力层的输出结果，所述公式(6)的定义如下：