[发明专利]一种语义匹配蒸馏方法及装置

权利要求书

1.一种语义匹配蒸馏方法，其特征在于，包括：

获取用户问句和标准问句至Teacher模型和Student模型中；

对用户问句和标准问句进行分词、去除无意义的词的预处理操作；

将预处理操作后的用户问句与标准问句拼接为一个输入句子，对于输入句子中的每个词都转换为3种形式的向量，分别是词嵌入向量、位置向量和段向量，其中词嵌入向量即为每个词的词向量，表示词的语义信息，位置向量表示词在输入句子中的位置，段向量表示词属于用户问句或是标准问句，最终采用相加的方式将每个词的3个向量相加得到词的特征向量；

将输入句子中的每个词都转换为词的特征向量后得到输入句子向量，然后将输入句子向量分别输入到预先建立的Teacher模型与Student模型中，Teacher模型与Student模型会分别计算用户问句和标准问句的相似度；

将Teacher模型的输出向量与Student模型的输出向量采用第一损失函数计算第一损失，将Student模型的预测值与真实值采用第一损失函数计算第二损失，将Teacher模型的词特征向量与Student模型的词特征向量采用第二损失函数计算第三损失；

将第一损失、第二损失和第三损失相加得到最终的目标函数，采用优化算法对目标函数进行优化，优化完成后得到最终的Student模型；以及

Student模型用于在语义匹配任务中判断用户问句与标准问句是否相似，若相似，预测结果为1，否则预测结果为0；

在将输入句子向量输入到Teacher模型与Student模型之前，还包括：在数据集上预先训练Teacher模型；以及将输入句子向量输入到Teacher模型，Teacher模型的预测值与真实值计算损失，使用优化算法优化Teacher模型，得到最终的Teacher模型；

在计算得到目标函数之前，还包括：给第一损失赋予一个第一权值，给第二损失赋予一个第二权值，给第三损失赋予一个第三权值，其中，权值表示重要程度，第一权值与第二权值的和为1；

将预先训练完成的Teacher模型中包含的语义匹配知识迁移到Student模型中，并构建目标函数优化Student模型，将得到的Student模型应用与语义匹配任务中，判断用户问句与标准问句是否相似，包括：将Teacher模型输出向量中的知识迁移到Student模型的输出向量中，计算第一损失；Student模型学习数据集中的知识，根据Student模型的预测值与真实值，计算第二损失；将Teacher模型词特征向量中的知识迁移到Student模型的词特征向量中，计算第三损失；将第一损失、第二损失和第三损失加权求和得到目标函数；根据目标函数通过优化算法优化Student模型，将知识迁移到Student模型中；以及Student模型判断输入的用户问句与标准问句是否相似。