[发明专利]改进自注意力模型的文本处理方法及装置

权利要求书

1.一种改进自注意力模型的文本处理方法，其特征在于，包括：

构建自注意力模型中Q向量与K向量对应的第一分支网络所对应的可训练的目标参数矩阵，其中，所述自注意力模型，包括：所述第一分支网络以及V向量对应的第二分支网络；

在所述自注意力模型中利用所述目标参数矩阵替代所述第一分支网络；

对利用所述目标参数矩阵替代所述第一分支网络后的自注意力模型进行训练，以优化所述目标参数矩阵和所述第二分支网络中的V向量参数矩阵；

利用训练后的自注意力模型执行文本处理任务。

2.根据权利要求1所述的方法，其特征在于，所述自注意力模型是基于掩码语言模型任务预训练后的BERT模型、ALBERT模型、RoBerta模型、SimBERT或者Debert模型；

所述文本处理任务为文本分类任务、序列标注任务、文本生成任务或者语义检索任务。

3.根据权利要求1所述的方法，其特征在于，构建自注意力模型中Q向量与K向量对应的第一分支网络所对应的可训练的目标参数矩阵，包括：

确定所述第一分支网络的输出的维度；

构建可训练的目标参数矩阵，其中，所述目标参数矩阵为所述维度的矩阵。

4.根据权利要求1所述的方法，其特征在于，对利用所述目标参数矩阵替代所述第一分支网络后的自注意力模型进行训练，以优化所述目标参数矩阵和所述第二分支网络中的V向量参数矩阵，包括：

冻结所述自注意力模型中第二分支网络的网络参数，对所述自注意力模型中的目标参数矩阵进行第一训练，以优化所述目标参数矩阵；

在完成所述第一训练后，解冻所述自注意力模型中第二分支网络的网络参数，冻结所述自注意力模型中的目标参数矩阵，对所述自注意力模型中的第二分支网络进行第二训练，以优化所述V向量参数矩阵。

5.根据权利要求1所述的方法，其特征在于，对利用所述目标参数矩阵替代所述第一分支网络后的自注意力模型进行训练，以优化所述目标参数矩阵和所述第二分支网络中的V向量参数矩阵，包括：

获取训练数据集，其中，所述训练数据集包括样本和样本对应的标签；

将所述样本输入所述自注意力模型，输出处理结果；

根据所述处理结果和所述标签，利用所述自注意力模型的损失函数计算损失值，依据所述损失值优化所述目标参数矩阵和所述V向量参数矩阵，其中，所述处理结果与所述目标参数矩阵和所述V向量参数矩阵相关。

6.根据权利要求1所述的方法，其特征在于，利用训练后的自注意力模型执行文本处理任务，包括：

将待处理的目标文本输入训练后的自注意力模型：

所述自注意力模型中的目标参数矩阵处理所述目标文本，得到目标矩阵；

所述自注意力模型中的所述第二分支网络处理所述目标文本，得到所述目标文本的V向量；

将所述V向量与所述目标矩阵相乘，得到相乘结果；

将所述相乘结果经过softmax层，得到所述目标文本的文本处理结果。

7.根据权利要求1所述的方法，其特征在于，包括：

构建所述自注意力模型中V向量对应的第二分支网络所对应的可训练的V向量参数向量；

在所述自注意力模型中利用所述V向量参数向量替代所述第二分支网络；

对利用所述V向量参数向量替代所述第二分支网络后的自注意力模型进行训练，以优化所述V向量参数向量和所述第一分支网络中的网络参数，其中，所述第一分支网络中的网络参数包括Q向量参数矩阵与K向量参数矩阵；

利用训练后的自注意力模型执行文本处理任务。