[发明专利]一种训练文本匹配模型的方法、装置以及存储介质

说明书

本发明涉及人工智能领域，其公开了一种训练文本匹配模型的方法，包括：使用第三训练集训练预先训练的语言模型得到第一教师模型，使用第一教师模型对预先建立的待蒸馏模型进行知识蒸馏得到第一学生模型；使用第一训练集训练第一教师模型得到第二教师模型，将第二训练集存储到搜索引擎，使用第二教师模型提取第二训练集的特征向量，将特征向量存储到近似近邻搜索库；通过第一训练集中的已标注数据包含的第一文本和第二文本从搜索引擎和近似近邻搜索库中分别获取第一结果集和第二结果集，并确定蒸馏数据；基于蒸馏数据训练第一学生模型，生成训练好的目标模型。本发明可以在训练过程中有针对性地对训练集的数据进行增强，提高知识蒸馏的效果。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种训练文本匹配模型的方法、装置以及存储介质。

背景技术

在文本匹配模型的训练过程中，需要大量有针对性的训练数据对模型进行训练才能提高模型的训练效果。但在大多数情况下，存在训练数据的数据量和多样性不足的问题，由于用于文本匹配模型训练的深度学习普遍具有很高的数据依赖性，因此训练效果往往会受到严重限制。为了尽可能增加训练数据的质量和数量，数据增强开始受到关注。当前文本数据增强的方法主要有两种，其一是随机增删改回译的方法，其二是基于自编码器等的对抗增强的方法。

类似于随机增删改回译的方法十分机械，不可以根据神经网络的训练进行有针对性的增强，灵活性差；而基于自编码器等的对抗增强的方法虽然可以根据神经网络动态调整增强的数据，但大多复杂且难控，无法做到一步到位。

发明内容

为了克服如上所述的技术问题，本发明提出一种训练文本匹配模型的方法，所述方法的技术方案如下：

S1，获取第一训练集、第二训练集和第三训练集，所述第一训练集包含第一领域内的用于文本匹配的已标注数据，所述第二训练集包含所述第一领域内的用于文本匹配的未标注数据，所述第三训练集包含第二领域内用于文本匹配的已标注数据；

S2，将所述第三训练集输入预先训练的语言模型，基于文本匹配任务对所述预先训练的语言模型进行训练，得到候选语言模型，将所述候选语言模型作为知识蒸馏中的第一教师模型，使用所述第一教师模型对预先建立的待蒸馏模型进行知识蒸馏，得到第一学生模型；

S3，使用所述第一训练集对所述第一教师模型进行训练，得到训练好的第二教师模型，将所述第二训练集中的未标注数据存储到搜索引擎，使用所述第二教师模型提取与所述第二训练集中的未标注数据对应的特征向量，将所述特征向量存储到近似近邻搜索库，所述搜索引擎对所述第二训练集中的未标注数据进行分词建立倒排索引，所述近似近邻搜索库使用预定的近似最近邻搜索算法对所述特征向量建立索引；

S4，所述第一训练集中的已标注数据包含第一文本和第二文本，根据所述第一文本从所述搜索引擎和所述近似近邻搜索库中获取第一结果集，根据所述第二文本从所述搜索引擎和所述近似近邻搜索库中获取第二结果集，通过将所述第一文本和所述第二结果集进行拼接以及将所述第二文本和所述第一结果集进行拼接确定用于知识蒸馏的蒸馏数据；

S5，基于所述蒸馏数据和所述第二教师模型，使用知识蒸馏方法对所述第一学生模型进行训练，生成训练好的目标模型。

进一步的，所述步骤S3中使用所述第一训练集对所述第一教师模型进行训练，得到训练好的第二教师模型包括：

所述第一训练集中包含的已标注数据对应于多个类别，将所述第一训练集划分为子训练集、子验证集和子测试集，根据所述子训练集、所述子验证集和所述子测试集确定所述第二教师模型，使得所述第二教师模型在所述子测试集中各个类别的预测准确率大于预设阈值，所述预设阈值的值域为(0,1)。

进一步的，所述预设阈值为0.95。

进一步的，所述搜索引擎为Elasticsearch引擎，所述近似近邻搜索库为Faiss框架。