[发明专利]基于知识蒸馏的信息检索方法

说明书

本发明公开了一种基于知识蒸馏的信息检索方法。首先，利用训练集T基于交叉熵损失函数来训练教师模型。再利用教师模型，对训练集T_old段落重排序得到T_new。之后，利用训练集T基于交叉熵损失函数和利用训练集T_new基于列表置换损失函数，将两者损失函数的加权和作为最终损失函数训练学生模型。最后，利用学生模型进行信息检索。本发明方法无需人工干预，检索准确率较高，具有良好的可扩展性。

技术领域

本发明属于信息检索领域，尤其涉及一种基于知识蒸馏的信息检索方法。

背景技术

随着互联网的普及和发展，人们可以接触到非常丰富的资源。对于某些人们想要了解的领域以及相关知识，人们可以选择信息检索来获取相关的知识。为了提升检索效率，优化检索效果，可以利用人工智能技术辅助信息检索，以帮助人们更快更好地获取想要知道的相关知识。

然而，现存的许多模型和方法存在着精度与速度两者不可兼得的问题。精度较高的模型往往有着大量的参数需要进行计算，导致检索延时大幅度提高，而速度较快的检索模型由于其更加看重速度，其精度也会有着一定的损失。

鉴于此，我们基于知识蒸馏(KD,knowledge distillation)的方法，利用精度较高的教师模型进行辅助训练精度稍低但是速度却快许多的学生模型，以期望得到速度变化不大但精度却提升较多的一个新的学生模型，以此来达到检索效果提升的目的。

发明内容

本发明的目的在于提供一种基于知识蒸馏的信息检索方法，从而方便人们更加高效地进行信息检索。

本发明解决其技术问题采用的技术方案如下：一种基于知识蒸馏的信息检索方法，包括以下步骤：

1)训练教师模型：基于交叉熵损失函数，利用训练集T来训练教师模型。

2)训练集段落重排序：使用步骤1)训练后的教师模型，对训练集T_old中每个查询所对应的段落集进行相关性重排序，得到排序π_T，并用重排序后的段落集构建新训练集T_new。

3)训练学生模型：利用训练集T，计算学生模型的交叉熵损失L₁；然后，利用学生模型，对训练集T_new中每个查询所对应的段落集进行相关性重排序，得到排序π_S，再利用列表置换损失函数计算π_T与π_S之间的差异损失L₂；最后用L₁和L₂的加权和作为学生模型的最终损失L，并通过最小化L来训练学生模型。

4)利用学生模型进行信息检索：利用学生模型计算用户查询所对应的段落的评分，将评分最高的段落作为查询答案。

进一步地，步骤1)所述的教师模型的训练，具体为：

训练集T为其中Q_i表示查询，p_i和n_i为正负例，N为总的查询数量。首先，选择教师模型为BERT-CAT模型，则教师模型计算查询Q与段落d之间相关性的评分公式为：

Teacher(Q，d)＝BERT-CAT(Q，d)＝BERT([CLS；Q；SEP；d])₁*W

其中，BERT是一种基于Transformer的双向编码表示语言模型，CLS和SEP表示BERT中的特殊词条，“；”表示拼接操作，下标1表示取CLS词条，W表示一个权重矩阵。

之后，对训练集T中每个查询及其所对应正例和负例的三元组，使用该教师模型计算正例得分P_i以及负例得分N_i：