[发明专利]一种模型蒸馏方法、文本检索方法及装置

权利要求书

1.一种模型蒸馏方法，其特征在于，包括：

获取老师模型和学生模型，其中，所述老师模型包括第一向量embedding层、第一转换器transformer层和第一预测prediction层，所述学生模型包括第二embedding层、第二transformer层和第二prediction层；第一transformer层的层数大于第二transformer层的层数；

获取训练样本，并将所述训练样本分别输入所述老师模型和所述学生模型中；其中，所述老师模型为经过预先训练获得的；

利用搬土距离EMD计算所述第一transformer层的输出与第二transformer层的输出之间的第一蒸馏损失，并分别计算第一embedding层的输出与第二embedding层的输出之间的第二蒸馏损失，以及第一prediction层的输出与第二prediction层的输出之间的第三蒸馏损失；

根据所述第一蒸馏损失、所述第二蒸馏损失和所述第三蒸馏损失对所述学生模型中的参数进行优化，获得训练好的学生模型。

2.根据权利要求1所述的方法，其特征在于，所述利用EMD计算所述第一transformer层的输出与第二transformer层的输出之间的第一蒸馏损失，包括：

获取所述第一transformer层中各层分别输出的第一注意力attention矩阵以及所述第二transformer层中各层分别输出的第二attention矩阵；

根据第一attention矩阵和所述第二attention矩阵计算第一EMD距离；

获取所述第一transformer层中各层分别输出的第一全连接前馈神经网络FFN隐层矩阵和所述第二transformer层中各层分别输出的第二FFN隐层矩阵；

根据第一FFN隐层矩阵和所述第二FFN隐层矩阵计算第二EMD距离；

根据所述第一EMD距离和所述第二EMD距离获得所述第一蒸馏损失。

3.根据权利要求2所述的方法，其特征在于，所述根据第一attention矩阵和所述第二attention矩阵计算第一EMD距离，包括：

根据计算获得所述第一EMD距离；

其中，L_attn为所述第一EMD距离，A^T为所述第一attention矩阵，A^S为所述第二attention矩阵，为第一attention矩阵与第二attention矩阵之间的均方误差，且为第i层第一transformer层的第一attention矩阵，为第j层第二transformer层的第二attention矩阵，f_ij为从第i层第一transformer层迁移到第j层第二transformer层的知识量，M为第一transformer层的层数，N为第二transformer层的层数。

4.根据权利要求2所述的方法，其特征在于，所述根据所述第一FFN隐层矩阵和所述第二FFN隐层矩阵计算第二EMD距离，包括：

根据计算获得第二EMD距离；

其中，L_ffn为所述第二EMD距离，H^T为第一transformer层的第一FFN隐层矩阵，H^S为第二transformer层的第二FFN隐层矩阵，为第一FFN隐层矩阵与第二FFN隐层矩阵的均方误差，且为第j层第二transformer层的第二FFN隐层矩阵，W_h为第一预设转换矩阵，为第i层第一transformer层的第一FFN隐层矩阵；f_ij为从第i层第一transformer层迁移到第j层第二transformer层的知识量，M为第一transformer层的层数，N为第二transformer层的层数。