[发明专利]多语言BERT序列标注模型的压缩方法及系统

权利要求书

1.多语言BERT序列标注模型的压缩方法，其特征在于，所述方法包括：

步骤1：基于Wordpiece算法从多语语料中抽取词表；

步骤2：将词表作为训练数据，对多/单语言BERT教师模型、多语言BERT学生模型进行预训练；

步骤3：基于人工标注的下游任务数据对多/单语言BERT教师模型进行微调；

步骤4：利用多/单语言BERT教师模型对预训练后的多语言BERT学生模型进行残差知识蒸馏；

步骤5：基于人工标注的下游任务数据对蒸馏后的多语言BERT学生模型进行微调；

所述步骤3包括：

步骤3.1：加载步骤2中保存的各个教师模型的预训练参数；

步骤3.2：对人工标注的下游任务数据进行分词，并根据预设的最大片段长度对数据进行切分；多语言BERT教师模型的训练数据为全量下游任务数据，单语言BERT教师模型的训练数据为下游任务数据中对应该语言的子集；

步骤3.3：以训练数据的原始自然句子作为输入，得到BERT模型的对应输出向量；将每个词的输出向量通过全连接预测层映射到下游任务的标签空间，得到输入句子的标注结果；

步骤3.4：计算BERT模型的标注结果和人工标注之间的交叉熵损失函数，根据损失函数对模型参数的梯度微调BERT模型中的所有参数；

步骤3.5：重复步骤3.3到3.4，直到达到预设的迭代次数为止；保存训练结束时各个教师模型的参数；

所述步骤4包括：

步骤4.1：加载步骤3中保存的各个教师模型的微调后的参数以及步骤2中保存的学生模型的预训练参数；

步骤4.2：选择多语蒸馏语料；

步骤4.3：将多语蒸馏语料输入到多语言BERT教师模型中，得到相应的模型输出再通过得到多语言BERT教师模型预测的软标签其中，softmax(·)表示Softmax函数，T是平滑参数；

对于每个单语言BERT教师模型，将多语蒸馏语料中对应该语言的部分输入到模型中，得到相应的模型输出其中i代表第i种语言；

再通过得到单语言BERT教师模型预测的软标签

步骤4.4：初始化学生模型队列为空；初始化学生模型的学习目标为L＝KL(Z′_S|Z′_T)，其中KL(·)表示KL散度，Z′_S表示多语言BERT学生模型输出的多语蒸馏语料的软标签，计算过程同步骤4.3，Z′_T表示教师模型输出的软标签：

以该学习目标为损失函数训练多语言BERT学生模型S₀，并将训练好的模型加入到学生模型队列中；

更新学生模型的学习目标中的Z′_T为即教师模型输出的软标签和当前学生模型队列中所有学生模型输出的软标签的和之间的残差；

以该学习目标为损失函数继续训练多语言BERT学生模型S₁，并将训练好的模型加入到学生模型队列中；

重复按上述方法更新学生模型的学习目标以及向学生模型队列中加入新的模型，直到学生模型队列的长度达到预设最大值；

步骤4.5：保存残差知识蒸馏后的学生模型队列中所有学生模型的参数；

所述步骤5包括：

步骤5.1：加载步骤4中保存的残差知识蒸馏后的所有学生模型的参数{S₀,S₁,…,S_k}；

步骤5.2：基于人工标注的下游任务数据微调步骤4中得到的学生模型队列；

首先将训练样例同步输入到所有学生模型中，得到模型输出O_i表示学生模型S_i的输出；

再以O和人工标注的结果之间的交叉熵为损失函数微调整个学生模型队列；

步骤5.3：保存微调后的学生模型队列中所有学生模型的参数；所述学生模型队列即为最终输出的经过压缩的多语言BERT序列标注模型。